JP7313901B2 - 物品認識装置および物品認識方法 - Google Patents

Description

本発明の実施形態は、物品認識装置および物品認識方法に関する。

カメラが撮影した撮影画像から複数の物品（対象物）を認識する物品認識装置が実用化されている。物品認識装置は、一般的に、テンプレートマッチング（画素マッチング）、あるいは、局所的な特徴（局所特徴量等）の比較などによって物品を認識する。物品認識装置は、前処理として認識対象とする領域を限定するために物品の領域を特定する処理を行うことがある。

従来、画像における物品の領域を特定する技術としては、奥行情報、または、背景差分等によって物品領域を特定する方法がある。しかしながら、奥行情報から物品領域を特定する方法は、一般に物体のエッジ付近で奥行きの測定精度が低下してしまうことから領域特定の精度が下がる可能性がある。また、背景差分によって物品領域を特定する方法は、背景の画像と物品の画像との差が小さい場合には物品領域を特定する精度が低下する。また、背景差分によって物品領域を特定する方法は、一般的に背景変動に弱く、外光や照明環境が変わってしまうと物品の領域特定の精度が下がる可能性もある。

特開２０１７－１６２２１７号公報

上記した課題を解決するために、物品の認識精度を向上できる物品認識装置および物品認識方法を提供する。

実施形態によれば、物品認識装置は、第１のインターフェースと、第２のインターフェースと、プロセッサとを備える。第１のインターフェースは、認識対象とする物品を載置する載置面を含む領域を撮影領域とするカメラが撮影した画像を取得する。第２のインターフェースは、載置面に画像を表示する表示装置へ表示用の画像を出力する。プロセッサは、第１のインターフェースで取得するカメラが撮影した第１の画像から前記載置面に載置されている物品と区別できる直線で構成するパターンによって前記載置面に表示する背景画像を生成し、第２のインターフェースから表示用の画像として出力する背景画像を表示装置によって載置面に表示した状態においてカメラが撮影する第２の画像を第１のインターフェースにより取得し、前記第２の画像から前記載置面に載置されている物品の領域を特定する。

図１は、実施形態に係る物品認識装置の外観構成例を概略的に示す図である。 図２は、実施形態に係る物品認識装置の物品載置台に物品を載置した状態を示す図である。 図３は、実施形態に係る物品認識装置の制御系の構成例を示すブロック図である。 図４は、第１実施形態に係る物品認識装置による物品認識処理の流れを説明するためのフローチャートである。 図５は、第１実施形態に係る物品認識装置による画像に対する色分析の例を説明するための図である。 図６は、第２実施形態に係る物品認識装置が認識対象とする物品の例を示す図である。 図７は、第２実施形態に係る物品認識装置における物品を載置する載置面に複数の領域ごとに異なる画像を表示した例を模式的に示す図である。 図８は、第２実施形態に係る物品認識装置による物品認識処理の流れを説明するためのフローチャートである。 図９は、第２実施形態に係る物品認識装置における各領域の画像に対する色分析の他の例を説明するための図である。 図１０は、第３実施形態に係る物品認識装置による物品認識処理の流れを説明するためのフローチャートである。 図１１は、第３実施形態に係る物品認識装置が認識対象とする物品の例を示す図である。 図１２は、第３実施形態に係る物品認識装置が載置面に載置された物品の撮影画像から検出する直線の例を示す図である。 図１３は、第３実施形態に係る物品認識装置が載置面に背景として表示するパターンの例を示す図である。 図１４は、第３実施形態に係る物品認識装置が載置面に表示するパターンとしての直線の方向を決定する処理例を説明するための図である。 図１５は、第３実施形態に係る物品認識装置が載置面に背景として表示するパターンの他の例を示す図である。 図１６は、第３実施形態に係る物品認識装置が載置面に背景として表示するパターンの他の例を示す図である。 図１７は、第３実施形態に係る物品認識装置が載置面に背景として表示するパターンの他の例を示す図である。

以下、第１、第２および第３実施形態について、図面を参照して説明する。
以下に説明する各実施形態に係る物品認識装置は、カメラが撮影する撮影画像から物品（商品）を検出する。実施形態に係る物品認識装置は、例えば、撮影画像から決済対象とする商品の領域（物品領域）を検出し、特定した物品領域から商品を認識するものに適用される。また、物品認識装置は、物品の数を計数するために撮影画像に存在する個々の物品を特定するための物品領域を検出するものであっても良い。

（第１実施形態）
まず、第１実施形態について説明する。
図１は、第１実施形態に係る物品認識装置１の外観の構成例を概略的に示す図である。
図１に示すように、物品認識装置１は、筐体２、物品載置台（ディスプレイ）３、カメラ４、および操作パネル５を有する。物品認識装置１は、認識対象となる物品の領域を特定し、特定した物品領域から物品を認識する。物品認識装置１は、例えば、物品の一例としての商品を販売する店舗などに設置される決済装置に搭載される。また、物品認識装置１が搭載される決済装置は、利用者が自ら操作するセルフレジであっても良い。また、物品認識装置１が搭載される決済装置は、店舗の店員が操作するレジであっても良い。

筐体２は、物品認識装置１の外形を形成する。筐体２は、各部を設置できる形状であれば良く、特定の形状に限定されるものではない。図１が示す例において、筐体２は、物品載置台３の上方にカメラ４が設置される形状を有する。また、筐体２は、プロセッサ、記憶部及び各種のインターフェース等を有する処理部２０（図３参照）を含む計算機（コンピュータ）を格納する。例えば、筐体２内に格納される計算機としての処理部が物品認識装置１としての物品認識処理などの処理を実現する。

物品載置台３は、認識対象とする物品を載置する載置面を有する。物品載置台３は、表示装置（ディスプレイ）３ａを具備する。物品載置台３は、載置面が表示装置３ａの表示画面となるように構成する。すなわち、物品載置台３の物品Ｍを載置する載置面は、表示装置３ａの表示画面となっている。

図２は、物品Ｍを載置した物品載置台３の載置面を上方（カメラ４の設置）から見た例を示す図である。
物品載置台３の載置面としての表示画面は、図２に示すように、認識対象とする物品Ｍが配置できるように構成する。物品載置台３の載置面は、認識対象とする複数の物品を載置しても良い。

また、図２に示すような物品載置台３の載置面は、カメラ４の撮影範囲に入るように設定される。表示装置３ａは、物品を載置する載置面（表示画面）に表示用の画像を表示する。表示装置３ａは、物品を載置する載置面を表示画面とし、物品載置台３の上方のカメラから撮影できるのであれば良く、特定の形状に限定されるものではない。例えば、表示装置３ａは、物品が載置可能な表示画面をカメラ４（上方）に向けて筐体２に直接設置しても良い。また、表示装置３ａは、筐体２に内蔵し、載置面となるアクリルなどの透明板等の下方に設置しても良い。

物品載置台３の表示装置３ａは、後述する処理部２０から供給される表示用の画像を表示画面に表示する。物品載置台３の表示装置３ａが載置面に表示する画像は、載置面上の物品Ｍを上方から撮影するカメラ４の撮影画像において物品Ｍに対する背景画像となる。表示装置３ａが載置面に表示する画像（背景画像）は、後述の各実施形態で説明するように、選択された色の画像、分割した領域毎に色が設定された画像、或いは特定の模様からなる画像などである。

カメラ４は、物品載置台３の載置面を含む領域を撮影範囲として撮影する。図１が示す構成例において、カメラ４は、図２に示すように物品載置台３の載置面を上方から撮影するように設置する。カメラ４は、物品載置台３における載置面としての表示画面に表示する画像とともに載置面上に置かれた物品Ｍを撮影できるものであれば良い。例えば、カメラ４は、ＣＣＤカメラなどで構成する。また、カメラ４は、複数個のカメラであっても良い。カメラ４は、特定の構成に限定されるものではない。

操作パネル５は、表示装置（ディスプレイ）と操作装置とを含む。例えば、操作パネル５は、操作装置としてのタッチパネルを具備する表示装置である。また、操作パネル５は、表示装置と共に、キーボードおよびテンキーなどを設けたものであっても良い。さらに、操作パネル５は、利用者からジェスチャーの入力を受け付けるものであっても良い。操作パネル５は、任意の位置に設置して良い。

ここでは、操作パネル５が、タッチパネルを具備する表示装置であることを想定するものとする。この場合、操作パネル５の表示装置は、液晶ディスプレイあるいは有機ＥＬディスプレイなどの表示パネルと表示パネルに画像を表示させる駆動回路とを備える。操作パネル５の操作装置は、操作者が種々の操作指示を入力するためのユーザインターフェースである。操作パネル７は、操作者が入力する操作指示を示す情報を処理部へ送信する。

なお、物品認識装置１は、物品として認識する商品を決済する決済部を具備する決済装置として実現しても良い。物品認識装置１としての決済装置に具備する決済部は、商品の代金などを決済できるものであれば良い。この場合、決済部は、クレジットカードを処理するものであっても良いし、携帯端末あるいはＩＣカード等の電子機器が有する電子マネーで金額を決済するものであっても良い。また、決済部は、現金を処理するものであっても良い。

また、物品認識装置１は、物品載置台３に商品が載置されたことを検知する検知部を有しても良い。例えば、物品認識装置１は、物品載置台３の載置面に商品が載置されたことを検知部が検知した場合に物品認識処理を開始するようにしても良い。

次に、物品認識装置１の制御系の構成例について説明する。
図３は、物品認識装置１の制御系の構成例を示すブロック図である。
図３が示すように、物品認識装置１は、処理部２０に、表示装置３ａ、カメラ４および操作パネル５が接続される構成を有する。処理部２０は、プロセッサ２１、ＲＯＭ２２、ＲＡＭ２３、不揮発性メモリ２４、カメラＩ／Ｆ（第１のインターフェース）２５、表示Ｉ／Ｆ（第２のインターフェース）２６、パネルＩ／Ｆ（第３のインターフェース）２７などを有する。

プロセッサ２１は、物品認識装置１全体の制御を司る。プロセッサ２１は、例えば、ＣＰＵである。プロセッサ２１は、ＲＯＭ２２或は不揮発性メモリ２４が記憶するプログラムおよび制御データに基づいて種々の処理を実現する。例えば、プロセッサ２１は、ＲＯＭ２２が記憶するプログラムを実行することにより、物品認識装置１の動作制御および物品認識処理などの種々の処理を行う。
なお、後述するプロセッサ２１が実現する各種の機能のうちの一部は、ハードウエアにより実現しても良い。

ＲＯＭ２２は、予め制御用のプログラム及び制御データなどを記憶する不揮発性のメモリである。ＲＯＭ２２は、製造段階で制御プログラム及び制御データなどを記憶した状態で物品認識装置１に組み込まれる。即ち、ＲＯＭ２２に記憶される制御プログラム及び制御データは、予め物品認識装置１の仕様に応じて組み込まれる。

ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、ワーキングメモリとして機能する。ＲＡＭ２３は、例えば、プロセッサ２１が処理中のデータを一時的に格納する。ＲＡＭ２３は、プロセッサ２１からの命令に基づきアプリケーションプログラムを格納する。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータおよびアプリケーションプログラムの実行結果などを格納してもよい。

不揮発性メモリ２４は、データの書き込み及び書換えが可能な不揮発性のメモリにより構成される。例えば、不揮発性メモリ２４は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）、ＥＥＰＲＯＭ（登録商標）あるいはフラッシュＲＯＭなどで構成される。不揮発性メモリ２４は、物品認識装置１の運用用途に応じた制御プログラム、アプリケーション、および、種々のデータを格納する。

また、不揮発性メモリ２４は、物品を認識するための情報を記憶する物品データベース（ＤＢ）を有する。物品ＤＢは、物品認識処理の対象となる物品に関する情報を記憶する。なお、物品ＤＢは、通信インターフェースを介して通信可能な外部装置に設けても良い。物品ＤＢは、例えば、認識対象とする物品ごとに、物品コード、物品名、物品区分などの物品情報と物品認識処理に用いる物品特定情報とを記憶する。物品特定情報は、撮影画像から物品を認識するための特徴情報、物品の外形（輪郭）を示す情報（外形情報）、および、物品の高さを示す情報（高さ情報）などで構成する。外形情報は、例えば、物品の矩形の面に対する４隅の座標であっても良い。また、外形情報は、物品載置台３の載置面に置いた物品を上方から見た場合における物品の輪郭の形状を示す情報であっても良い。また、外形情報は、物品載置台３の載置面に置いた物品を上方から見た場合の面積を示す情報であっても良い。

カメラインターフェース（Ｉ／Ｆ）２５は、カメラ４と処理部２０とを接続するためのインターフェースである。プロセッサ２１とカメラ４とは、カメラＩ／Ｆ２５を介してデータを入出力する。カメラＩ／Ｆ２５は、カメラ４が撮影した撮影画像を取得する画像取得部として機能する。例えば、プロセッサ２１は、カメラＩ／Ｆ２５を介して、カメラ４に画像の撮影を指示し、カメラ４が撮影した画像を取得する。

表示インターフェース（Ｉ／Ｆ）２６は、物品載置台３が具備する表示装置３ａと処理部２０とを接続するためのインターフェースである。プロセッサ２１と表示装置３ａとは、表示Ｉ／Ｆ２６を介してデータを入出力する。表示Ｉ／Ｆ２６は、プロセッサ２１が表示装置３ａに対して表示画面に表示する表示用の画像を供給するためのインターフェースとして機能する。例えば、プロセッサ２１は、表示Ｉ／Ｆ２６を介して、表示装置３ａに表示画面に表示する色を指示するようにしても良い。また、プロセッサ２１は、表示Ｉ／Ｆ２６を介して、表示装置３ａに表示画面に表示する模様などのパターンを指示するようにしても良い。

パネルインターフェース（Ｉ／Ｆ）２７は、操作パネル５と処理部２０とを接続するためのインターフェースである。操作パネル５が表示装置と操作装置とを含む場合、パネルＩ／Ｆ２７は、プロセッサ２１と表示装置とを接続するためのインターフェースとプロセッサ２１と操作装置とを接続するためのインターフェースとを含む。操作パネル５の表示装置は、パネルＩ／Ｆ２７を介してプロセッサ２１から供給される表示制御に基づいて画面を表示する。タッチパネルなどの操作パネル５の操作装置は、入力された情報をパネルＩ／Ｆ２７を介してプロセッサ２１へ供給する。

なお、物品認識装置１は、警告などを報知するための音を発するスピーカを設けても良い。この場合、処理部２０には、スピーカを接続するためのインターフェースが設けられる。スピーカは、インターフェースを介して接続されるプロセッサ２１からの制御に基づいて音を発するようにすれば良い。

次に、第１実施形態に係る物品認識装置１の動作について説明する。
図４は、第１実施形態に係る物品認識装置１の動作例を説明するためのフローチャートである。
待機状態において、処理部２０のプロセッサ２１は、物品認識処理の開始を指示を受け付ける（ＡＣＴ１１）。例えば、プロセッサ２１は、物品認識処理の開始を指示するスタートボタンへの受け付ける。スタートボタンは、物品載置台３の載置面に載置された物品に対する物品認識処理の開始を指示するボタンである。

例えば、スタートボタンは、操作パネル５の表示装置が表示するアイコンであるものとする。操作パネル５のタッチパネルは、アイコンとして表示したスタートボタンへの入力を検知する。スタートボタンは、他の操作方法で指示するものであっても良い。また、物品認識処理の開始の指示は、スタートボタンへの入力以外の操作であっても良い。例えば、プロセッサ２１は、センサなどの検知器によって物品載置台３の載置面に物品が載置されたことを検知した場合に物品認識処理を開始するようにしても良い。

物品認識処理の開始が指示されなければ（ＡＣＴ１１、ＮＯ）、処理部２０のプロセッサ２１は、物品認識処理の開始の指示を受け付けた状態のままで待機する。物品認識処理の開始が指示された場合（ＡＣＴ１１、ＹＥＳ）、プロセッサ２１は、カメラ４が撮影する撮影画像を第１の画像としてカメラインターフェース２５を介して取得する（ＡＣＴ１２）。例えば、プロセッサ２１は、物品載置台３の表示装置３ａによる画像の表示をオフとした状態でカメラ４に第１の画像としての画像の撮影を指示する。カメラ４は、プロセッサ２１からの指示に応じて物品載置台３の載置面（表示画面）を含む撮影範囲の画像を撮影する。カメラ４は、撮影した画像を第１の画像としてカメラインターフェース２５を介して処理部２０へ供給する。

なお、カメラ４が第１の画像を撮影する場合、プロセッサ２１は、物品載置台３の表示装置３ａが載置面としての表示画面全体に所定の色（例えば、白、黒）を表示するように制御しても良い。つまり、プロセッサ２１は、カメラ４が撮影する第１の画像から載置面上に載置された物品が持つ色を判定できるように物品載置台３の表示装置３ａを制御すれば良い。

第１の画像を取得すると、処理部２０のプロセッサ２１は、取得した第１の画像における色（画素値）を分析する（ＡＣＴ１３）。プロセッサ２１は、第１の画像における色の分析結果に基づいて背景として表示する色を選択する（ＡＣＴ１４）。例えば、プロセッサ２１は、色の分析として、第１の画像から画像内に存在しない色を示す画素値を探索する。第１の画像は、載置面に載置した物品の画像を含むものである。従って、第１の画像内に存在しない色は、載置面に載置された物品が持たない色である。第１の画像内に存在しない色を示す画素値を探索する方法（色の分析方法）としては、当該画像に存在する各色を示す画素値をカウントする方法がある。

図５は、画像内における色の分析方法の一例を説明するための図である。
図５に示す例では、プロセッサ２１は、第１の画像に存在する各色を示す画素値をカウントすることでヒストグラムを作成する。プロセッサ２１は、作成したヒストグラムにおいて度数が０となる色を示す画素値を探索（選択）する。例えば、度数０となる色を示す画素値は、図５に示すような度数０の区間Ａあるいは度数０の区間Ｂの中からランダムで選択しても良い。また、度数０となる色を示す画素値は、ヒストグラムにおいて最も長い度数０の区間（図５に示す度数０の区間Ａ）における中央の色を示す画素値を選択しても良い。これにより、プロセッサ２１は、第１の画像から画像内に存在しない色を示す画素値を探索できる。

また、背景として表示する色は、上述の方法とは別の方法によって選択するようにしても良い。例えば、背景として表示する色は、第１の画像における代表色に対して色相環で補色（反対色）となる色を選択するようにしても良い。この場合、色分析としては、第１の画像における代表色を特定する処理を行うものとなる。なお、画像の代表色を特定する処理および代表色の補色（反対色）となる色を選択する処理については、第２実施形態で説明する処理が適用できるものとする。

第１の画像に基づいて背景として表示する色（画素値）を選択すると、プロセッサ２１は、選択した色で構成する画像（背景画像）を生成し、生成した画像を物品載置台３の表示装置３ａに表示させる（ＡＣＴ１５）。例えば、プロセッサ２１は、第１の画像に存在しない色として選択した色で構成する背景画像を表示用の画像として表示Ｉ／Ｆ２６を介して表示装置３ａへ供給する。これに応じて、表示装置３ａは、載置面としての表示画面全体に処理部２０から供給される背景画像を表示する。

プロセッサ２１は、第１の画像に基づいて選択した色で載置面を表示した状態でカメラ４が撮影する撮影画像を第２の画像としてカメラインターフェース２５を介して取得する（ＡＣＴ１６）。例えば、プロセッサ２１は、物品載置台３の表示装置３ａにより載置面（表示画面）を第１の画像に基づいて選択した色で表示させる。プロセッサ２１は、載置面を第１の画像に基づいて選択した色で表示させた状態でカメラ４に画像の撮影を指示する。カメラ４は、プロセッサ２１からの指示に応じて第１の画像に基づいて選択した色が表示された載置面を含む撮影範囲の画像を第２の画像として撮影する。カメラ４は、選択した色が表示された載置面を表示した状態で撮影した画像を第２の画像としてカメラインターフェース２５を介して処理部２０へ供給する。

第２の画像を取得すると、処理部２０のプロセッサ２１は、取得した第２の画像から物品領域を特定する（ＡＣＴ１７）。例えば、プロセッサ２１は、第２の画像から表示装置３ａにより載置面に表示した色以外の画像を抽出することで、物品領域を抽出する。第２の画像は、第１の画像に基づいて選択した色で載置面を表示した状態で撮影した画像であるから、載置面に表示した色以外の領域が背景以外の領域（つまり、物品領域）となる。また、物品領域を特定する方法は、背景色と物品領域の色が異なるので、濃度差を利用した特定方法、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを利用した特定を行っても良い。また、物品領域を特定する方法は、いくつかの方式を併用しても良く、特定の方式に限定されるものではない。

物品領域を特定すると、プロセッサ２１は、特定した物品領域に対して物品を認識する認識処理を実行する（ＡＣＴ１８）。プロセッサ２１は、認識処理として、物品領域の画像から物品を認識するための画像情報を抽出し、抽出した画像情報に基づいて物品を認識する。画像情報は、認識に用いる画像の特徴を示す特徴量を含む。例えば、画像情報は、画像の局所的な特徴を示す局所特徴量とその位置を示す特徴点の座標情報とを有する。また、画像情報には、その他の情報を有していても良い。また、画像の特徴を示す特徴量としては、物品の濃度勾配あるいはテクスチャのパターン等でも良い。また、画像の特徴を示す特徴量は、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを利用して特徴抽出を行っても良く、特定の方式に限定されるものではない。

また、認識処理において物品を認識（識別）するための物品の認識方法は、上記した画像情報としての局所特徴量を利用した局所特徴量方式が適用できる。また、物品の認識方法は、テクスチャパターン等を利用したオブジェクト認識方式、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ方式を利用した認識方法であっても良い。さらに、物品の認識方法は、画像から高周波成分の強い領域を検出することでバーコード領域（バーコード）を取得し、取得したバーコードをデコードするものであっても良い。この場合、プロセッサ２１は、バーコードをデコードして得る物品コードと物品データベースに登録した物品コードとを照合することで物品を認識できる。また、物品の認識方法は、特定の方式に限定されるものでは無く、いくつかの方式を併用しても良い。

上記のように、第１実施形態に係る物品認識装置は、物品を載置する載置面に画像を表示する表示装置を有する。第１実施形態において、物品認識装置は、載置面を含む撮影領域を撮影するカメラから取得する第１の画像に対する色分析によって選択（探索）する色で構成した背景画像を生成する。物品認識装置は、第１の画像に基づいて選択した色で構成した背景画像を載置面に表示した状態でカメラが撮影する第２の画像から物品領域を特定する。物品認識装置は、特定した物品領域の画像情報を用いて物品を認識する。

これにより、背景と似た輝度あるいは色情報を持つ物品であっても物品を載置する載置面に表示する背景を変化させることで物品領域を確実に特定することが可能となる。この結果、第１実施形態によれば、認識精度および処理速度を向上することができる物品認識装置を提供できる。

（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態は、第１実施形態で説明した図１乃至図３に示す構成の物品認識装置１において実現されるものとする。このため、第２実施形態では、物品認識装置１の構成についての詳細な説明を省略するものとする。第２実施形態に係る物品認識装置１は、物品を載置する載置面となる表示装置３ａの表示画面を複数の領域に分割し、分割した領域毎に選択した画像を表示する。

図６は、認識対象とする物品Ｍ´の一例を示す図である。
図６に示す物品Ｍ´は、異なる色の複数の領域からなる外観を有するものである。つまり、物品Ｍ´は、撮影される被撮影面において異なる色からなる複数の領域が混在する。このため、物品Ｍ´を載置する載置面における背景全体を１つの色とすると、カメラ４が撮影する撮影画像から物品Ｍ´の領域を特定するのが難しい場合がありうる。このため、第２実施形態では、表示装置３ａが画像を表示する載置面の領域（物品の載置領域、背景画像の表示領域）を複数の領域に分割し、分割した領域ごとに表示する色を選択する。これにより、異なる色からなる複数の領域を外観に有する物品Ｍ´であっても、撮影画像から物品領域を特定しやすくするものである。

図７は、表示装置３ａが画像（背景画像）を表示する載置面の領域を３分割し、３分割した領域ごとに異なる色を表示した例を示す図である。
図７に示すように、物品Ｍ´が載置される載置面上の表示領域を３分割する場合、物品認識装置１は、３分割した領域Ｒ１、Ｒ２、Ｒ３ごとに選択（設定）した色を表示する。各領域に表示する色は、第１実施形態と同様な色分析によって選択して良い。例えば、第１の画像を３分割し、領域ごとに画像に存在しない色を探索し、探索した色を各領域の背景として表示する図７に示すような背景画像を生成する。

また、各領域に背景として表示する色は、分割した各領域において物品の画像と背景とが区別しやすい色であれば良い。従って、各領域に背景として表示する色は、第１実施形態で説明した色分析とは異なる方法で選択するようにしても良い。

また、図７に示す例は、領域を３分割する例を示したが、分割する領域は、運用形態あるいは認識対象とする物品などに応じて適宜設定して良い。例えば、分割する領域は、図７に示すような３分割よりも更に細かく設定しても良い。分割する領域を細かく設定すればするほど、複数商品あるいは複雑な色構成の外観を有する物品であっても物品領域の特定が確実に行える。

次に、第２実施形態に係る物品認識装置１の動作について説明する。
図８は、第２実施形態に係る物品認識装置１の動作例を説明するためのフローチャートである。
第２実施形態において、物品認識装置１のプロセッサ２１は、第１実施形態で説明したＡＣＴ１１と同様に、物品認識処理の開始の指示を受け付ける（ＡＣＴ２１）。物品認識処理の開始の指示が入力されなければ（ＡＣＴ２１、ＮＯ）、プロセッサ２１は、物品認識処理の開始の指示を受け付けた状態のままで待機する。物品認識処理の開始の指示が入力されると（ＡＣＴ２１、ＹＥＳ）、プロセッサ２１は、カメラ４が撮影する撮影画像を第１の画像としてカメラインターフェース２５を介して取得する（ＡＣＴ２２）。ＡＣＴ２２の処理は、第１実施形態で説明したＡＣＴ１２と同様な処理で実現できる。

第１の画像を取得すると、プロセッサ２１は、第１の画像を複数の領域に分割し、分割した領域ごとに色（画素値）を分析する（ＡＣＴ２３）。プロセッサ２１は、各領域に対する色の分析結果に基づいて載置面における各領域に背景として表示する色を選択する（ＡＣＴ２４）。例えば、プロセッサ２１は、第１実施形態のＡＣＴ１３と同様な処理を各領域に適用することにより各領域の画像における色を分析しても良い。この場合、プロセッサ２１は、各領域の画像に対する色の分析結果から各領域に背景として表示する色を示す画素値を選択する。

また、各領域に対する色の分析としては、第１実施形態で説明したような画像に存在しない色を探索するものに限定されるものではない。例えば、各領域に背景として表示する色は、各領域における代表色に対して色相環で反対付近を示す色（補色、反対色）を選択するようにしても良い。この場合、各領域に対する色の分析としては、第１の画像において分割した各領域における代表色を特定（探索）する処理を行う。これにより、物品の画像（色）と背景画像との差を大きくすることができ、精度良く物品領域を特定することが可能となる。

図９は、画像から代表色を探索するためのヒストグラムの例を示す図である。
図９に示す例において、代表色とする色（画素値）としては、分割した領域の画像におけるヒストグラムの度数から極大値となる値を選択する。また、代表色とする色（画素値）は、図９に示すように、分割した領域の画像におけるヒストグラムの度数平均値を選択するようにしても良い。
なお、各領域に背景として表示する色は、第１の画像において分割した領域内でエッジ検出を行い、検出したエッジの色に基づいて選択するようにしても良い。

分割した領域毎に背景として表示する色を選択すると、プロセッサ２１は、各領域を選択した色で表示する画像（背景画像）を生成する（ＡＣＴ２５）。背景画像を生成すると、プロセッサ２１は、表示インターフェース２６を介して背景画像を表示用の画像として表示装置３ａへ供給する。これに応じて、表示装置３ａは、分割した領域ごとに色が設定された背景画像を載置面となる表示画面に表示する（ＡＣＴ２６）。

プロセッサ２１は、領域毎に選択した色からなる背景画像を載置面に表示した状態でカメラ４が撮影する撮影画像を第２の画像としてカメラＩ／Ｆ２５を介して取得する（ＡＣＴ２７）。例えば、プロセッサ２１は、載置面（表示画面）に領域毎に選択した色からなる背景画像を表示させた状態でカメラ４に画像の撮影を指示する。カメラ４は、プロセッサ２１からの指示に応じて載置面（表示画面）を含む撮影範囲の画像を第２の画像として撮影する。カメラ４は、撮影した画像を第２の画像としてカメラインターフェース２５を介して処理部２０へ供給する。

第２の画像を取得すると、処理部２０のプロセッサ２１は、取得した第２の画像から物品領域を特定する（ＡＣＴ２８）。例えば、プロセッサ２１は、第２の画像と領域毎に選択した色からなる背景画像との差分から物品領域を抽出する。また、物品領域を特定する方法は、濃度差を利用した特定方法、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを利用した特定を行っても良い。また、物品領域を特定する方法は、いくつかの方式を併用しても良く、特定の方式に限定されるものではない。

物品領域を特定すると、プロセッサ２１は、特定した物品領域に対して物品を認識する認識処理を実行する（ＡＣＴ２９）。物品領域の画像から物品を認識する認識処理としては、第１実施形態で説明した処理を適用できる。例えば、プロセッサ２１は、認識処理として、物品領域の画像から物品を認識するための画像情報を抽出し、抽出した画像情報に基づいて物品を認識する。

上記のように、第２実施形態に係る物品認識装置は、物品を載置する載置面に画像を表示する表示装置を有する。第２実施形態において、物品認識装置は、載置面を含む撮影領域を撮影するカメラから取得する第１の画像に基づいて複数に分割した領域毎に背景として表示する色を選択し、各領域を選択した色で表示する背景画像を生成する。物品認識装置は、領域毎に選択した色からなる背景画像を表示した状態でカメラが撮影する第２の画像と当該背景画像とから物品領域を特定する。物品認識装置は、特定した物品領域の画像情報を用いて物品を認識する。

これにより、色の領域が混在する物品であっても載置面に表示する背景の色を分割する領域ごとを変化させることで物品領域を確実に特定することが可能となる。この結果、第２実施形態によれば、物品の認識精度を向上でき、物品認識処理の処理速度も向上することができる物品認識装置を提供できる。

（第３実施形態）
次に、第３実施形態について説明する。
第３実施形態は、第１実施形態で説明した図１乃至図３に示す構成の物品認識装置１において実現されるものとする。このため、第３実施形態では、物品認識装置１の構成についての詳細な説明は省略するものとする。

第３実施形態に係る物品認識装置１は、物品を載置する載置面となる表示装置３ａの表示画面に表示する背景画像を一定のパターン（模様）するものである。例えば、物品認識装置１は、カメラ４が撮影した撮影画像から画像中に存在しないパターンを特定する。物品認識装置１は、特定したパターンで構成した画像を背景画像として載置面となる表示画面に表示する。物品認識装置１は、背景画像として表示するパターンを示す領域とそれ以外の領域（物品領域）とを分離することで物品領域を特定する。

次に、第３実施形態に係る物品認識装置１の動作について説明する。
図１０は、第２実施形態に係る物品認識装置１の動作例を説明するためのフローチャートである。
第２実施形態において、物品認識装置１のプロセッサ２１は、第１実施形態で説明したＡＣＴ１１と同様に、物品認識処理の開始の指示を受け付ける（ＡＣＴ３１）。物品認識処理の開始の指示がなければ（ＡＣＴ３１、ＮＯ）、プロセッサ２１は、物品認識処理の開始の指示を入力待ちの状態で待機する。物品認識処理の開始が指示されると（ＡＣＴ３１、ＹＥＳ）、プロセッサ２１は、カメラ４が撮影する撮影画像を第１の画像としてカメラインターフェース２５を介して取得する（ＡＣＴ３２）。ＡＣＴ３２の処理は、第１実施形態で説明したＡＣＴ１２と同様な処理で実現できる。

第１の画像を取得すると、プロセッサ２１は、第１の画像におけるパターン（模様）の分析を行う（ＡＣＴ３３）。プロセッサ２１は、第１の画像に対するパターンの分析結果に基づいて載置面に背景として表示するパターンを決定する（ＡＣＴ３４）。パターンの分析は、第１の画像に存在する物品が持つパターンを特定する処理である。例えば、パターンの分析としては、第１の画像に存在する物品が持つパターンを構成する直線を検出する処理を行う。

図１１は、物品載置台３の載置面に載置された認識対象となる物品Ｍ´´の例を示す図である。また、図１２は、図１１に示す物品Ｍ´´を撮影した撮影画像から検出される直線ｓの例を示す図である。
例えば、プロセッサ２１は、図１１に示すような撮影画像（第１の画像）に対して直線を検出する処理を施す。プロセッサ２１は、第１の画像としての撮影画像から直線を検出する処理によって、図１２に示すような複数の直線ｓを検出する。ここで、画像から直線を検出する方法は、ハフ変換などの画像処理を適用することで実現できる。ただし、画像から直線を検出する方法は、特定の方法に限定されるものではない。

図１３は、図１２に示すように検出した直線ｓに基づいて決定するパターンからなる背景画像の例を示す図である。
図１３は、図１２に示すような検出した直線方向以外の方向となる直線からなるパターンで構成する画像（背景画像）を背景として表示した状態を示す。つまり、図１３は、背景として表示するパターンを、図１２に示す第１の画像から検出した直線方向以外の方向となる直線からなるパターンとした例を示す。図１３に示す背景画像は、図１２に示す物品Ｍ´´に含まれる直線と一致する方向の直線を含まない。これにより、物品Ｍ´´の物品領域は、図１３に示す背景画像とを確実に区分けできる。

ここで、背景として表示するパターンを構成する直線の方向は、第１の画像から検出した直線方向以外の方向からランダムで選択しても良い。
また、第１の画像から複数方向の直線が検出された場合、検出した各直線方向のなす角などに応じて、背景として表示するパターンを構成する直線の方向を決めても良い。

図１４は、第１の画像から３つの方向の直線が検出された場合に、背景として表示するパターンを構成する直線の方向の決め方の例を示す図である。
図１４に示すように、第１の画像から３つの方向の直線（直線方向ｓ１、ｓ２、ｓ３）を検出した場合、検出した３つの直線方向のなす角などから背景のパターンとして表示する直線の方向を決めても良い。図１４に示すように、３つの直線方向ｓ１，ｓ２，s３を基準点（原点）で交差させた場合、隣り合う直線方向のうちなす角が最も広い（角度に差がある）２つの直線方向の中間方向ｓｐが決定できる。図１４に示す例では、直線方向ｓ２と直線方向ｓ３とが最も広くなるため、直線方向ｓ２と直線方向ｓ３との中間方向ｓｐの直線を背景として表示するパターンとして決定する。

また、背景として表示するパターンは、図１３に示すような直線からなるパターンに限定されるものではない。背景として表示するパターンは、第１の画像に存在する物品の画像と区別し易いパターンであれば良い。
図１５、図１６および図１７は、背景として表示するパターンの他の例を示す図である。
図１５は、第１の画像から同一方向の直線が複数検出される場合、最も多く検出した直線ｓｍの方向に対して直行する方向の直線ｓｏを背景として表示するパターンとする例である。
この場合、プロセッサは、例えば、第１の画像から検出した直線の数を方向ごとにカウントし、最も検出数が多い直線の方向ｓｍを特定する。最も検出数が多い直線の方向ｓｍを特定すると、プロセッサは、最も検出数が多い直線の方向ｓｍに直行する方向の直線ｓｏを背景として表示するパターンとする。プロセッサ２１は、背景として表示するパターンとする直線の方向を決定すると、決定した方向の直線ｓｏで構成する背景画像を生成する。

図１６は、背景として表示するパータンを楕円からなるパターンとした場合の背景画像の例を示す図である。
この場合、プロセッサ２１は、例えば、第１の画像に存在しない形状の楕円を特定する。第１の画像に存在しない楕円を特定すると、プロセッサ２１は、特定した楕円を背景として表示するパターンとする。プロセッサ２１は、背景として表示するパターンとする楕円を決定すると、決定した楕円で構成する背景画像を生成する。

また、図１７は、背景として表示するパータンを長方形からなる格子状のパターンとして場合の背景画像の例を示す図である。
この場合、プロセッサ２１は、第１の画像に存在しない縦横比の長方形を特定する。第１の画像に存在しない長方形を特定すると、プロセッサ２１は、特定した長方形を背景として表示するパータンとする。プロセッサ２１は、背景として表示するパターンとする長方形で構成する背景画像を生成する。図１７に示す例では、背景として表示するパターンとする長方形を格子状にならべた画像を背景画像としている。

なお、第３実施形態は、第２実施形態と組み合わせて実施しても良い。すなわち、第２実施形態で説明したように分割した領域ごとに背景とするパターンを決定し、領域ごとに設定したパターンで背景画像を生成しても良い。

背景として表示するパターンを決定すると、プロセッサ２１は、決定したパターンを背景として表示するための画像（背景画像）を生成する（ＡＣＴ３５）。背景画像を生成すると、プロセッサ２１は、生成した背景画像を表示用の画像として表示インターフェース２６を介して表示装置３ａへ供給する（ＡＣＴ３６）。これに応じて、表示装置３ａは、第１の画像に基づいて決定されたパターンで構成した背景画像を物品を載置する載置面となる表示画面に表示する。

プロセッサ２１は、第１の画像に基づいて決定したパターンからなる背景画像を載置面に表示した状態でカメラ４が撮影する撮影画像をカメラＩ／Ｆ２５を介して取得する（ＡＣＴ３７）。例えば、プロセッサ２１は、第１の画像に基づいて決定したパターンからなる背景画像を載置面に表示し、カメラ４に画像の撮影を指示する。カメラ４は、プロセッサ２１からの指示に応じて載置面を含む撮影範囲の画像を第２の画像として撮影する。カメラ４は、撮影した画像を第２の画像としてカメラインターフェース２５を介して処理部２０へ供給する。

第２の画像を取得すると、処理部２０のプロセッサ２１は、取得した第２の画像から物品領域を特定する（ＡＣＴ３８）。例えば、プロセッサ２１は、第２の画像と背景画像との差分から物品領域を抽出する。
物品領域を特定すると、プロセッサ２１は、特定した物品領域に対して物品を認識する認識処理を実行する（ＡＣＴ３９）。プロセッサ２１は、第１実施形態で説明したような認識処理によって物品領域の画像から物品を認識する。

上記のように、第３実施形態に係る物品認識装置は、物品を載置する載置面に画像を表示する表示装置を有する。第３実施形態において、物品認識装置は、載置面を含む撮影領域を撮影するカメラから取得する第１の画像に基づいて背景として表示するパターンを決定する。物品認識装置は、決定したパターンで構成した背景画像を表示した状態でカメラが撮影する第２の画像と当該背景画像とから物品領域を特定する。物品認識装置は、特定した物品領域に対して物品の認識処理を実行する。

これにより、多様なパターンを持つ物品であっても物品を載置する載置面に表示するパターンを変化させることで物品領域を確実に特定することが可能となる。この結果、第３実施形態によれば、物品認識処理の精度を向上でき、物品認識処理の処理速度を向上することができる物品認識装置を提供できる。

以上のように、各実施形態に係る物品認識装置は、物品載置台が表示装置を有し、表示装置の表示画面上を物品を載置する載置面とする。物品認識装置は、表示装置が表示する画像（色或いはパターンなど）を制御して撮影した画像から物品領域の特定処理を行う。これにより、実施形態に係る物品認識装置は、撮影画像から背景と物品とを確実に切り分けることができ、物品を認識する前処理として物品領域を精度良く特定できる。この結果として、物品認識装置は、物品の認識精度を向上できるだけでなく、物品認識の処理速度も向上できる。

さらに、各実施形態に係る物品認識装置は、撮影画像に基づいて物品載置台の表示装置が表示する画像を制御した後に撮影する撮影画像から物品領域の特定処理を行う。これにより、物品認識装置は、背景と似た輝度または色またはパターンを持つ物品でも確実に物品の領域を特定することができる。この結果、物品認識装置は、物品の認識精度を向上できる。

なお、上述した実施形態では、装置内のメモリにプロセッサが実行するプログラムが予め記憶されている場合で説明をした。しかし、プロセッサが実行するプログラムは、ネットワークから装置にダウンロードしても良いし、記憶媒体から装置にインストールしてもよい。記憶媒体としては、ＣＤ－ＲＯＭ等のプログラムを記憶でき、かつ装置が読み取り可能な記憶媒体であれば良い。また、予めインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働して実現させるものであってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
認識対象とする物品を載置する載置面を含む領域を撮影領域とするカメラが撮影した画像を取得する第１のインターフェースと、
前記載置面に画像を表示する表示装置へ表示用の画像を出力する第２のインターフェースと、
前記第１のインターフェースで取得する前記カメラが撮影した第１の画像に基づいて前記載置面に表示する背景画像を生成し、
前記第２のインターフェースから表示用の画像として出力する前記背景画像を前記表示装置によって前記載置面に表示した状態において前記カメラが撮影する第２の画像を前記第１のインターフェースにより取得し、
前記第２の画像から前記載置面に載置されている物品の領域を特定する、
プロセッサと、
を備える物品認識装置。
［２］
前記プロセッサは、
前記第１の画像から前記載置面に載置されている物品と区別できる色を探索し、探索した色によって前記載置面に表示する背景画像を生成する、
［１］に記載の物品認識装置。
［３］
前記プロセッサは、
前記第１の画像を複数の領域に分割し、分割した領域ごとに選択した色によって前記載置面に表示する背景画像を生成する、
［１］に記載の物品認識装置。
［４］
前記プロセッサは、
前記第１の画像から前記載置面に載置されている物品と区別できるパターンを決定し、決定したパターンによって前記載置面に表示する背景画像を生成する、
［１］に記載の物品認識装置。
［５］
認識対象とする物品を載置する載置面を含む領域を撮影領域とするカメラが撮影する第１の画像を取得し、
前記カメラが撮影した第１の画像に基づいて前記載置面に表示する背景画像を生成し、 前記背景画像を前記載置面に表示し、
前記載置面に前記背景画像を表示した状態において前記カメラが撮影する第２の画像を取得し、
前記第２の画像から前記載置面に載置されている物品の領域を特定する、
物品認識方法。

１…物品認識装置、３…物品載置台、３ａ…表示装置、４…カメラ、５…操作パネル、２０…処理部、２１…プロセッサ、２５…カメラインターフェース（第１のインターフェース）、２６…表示インターフェース（第２のインターフェース）。

Claims (5)

1. 認識対象とする物品を載置する載置面を含む領域を撮影領域とするカメラが撮影した画像を取得する第１のインターフェースと、
   前記載置面に画像を表示する表示装置へ表示用の画像を出力する第２のインターフェースと、
   前記第１のインターフェースで取得する前記カメラが撮影した第１の画像から前記載置面に載置されている物品と区別できる直線で構成するパターンによって前記載置面に表示する背景画像を生成し、
   前記第２のインターフェースから表示用の画像として出力する前記背景画像を前記表示装置によって前記載置面に表示した状態において前記カメラが撮影する第２の画像を前記第１のインターフェースにより取得し、
   前記第２の画像から前記載置面に載置されている物品の領域を特定する、
   プロセッサと、
   を備える物品認識装置。
2. 前記プロセッサは、
   前記第１の画像から検出する直線とは異なる方向の直線で構成するパターンを決定する、
   請求項１に記載の物品認識装置。
3. 前記プロセッサは、
   前記第１の画像から検出する複数の直線のなす角に応じた向きの直線で構成するパターンを決定する、
   請求項２に記載の物品認識装置。
4. 認識対象とする物品を載置する載置面を含む領域を撮影領域とするカメラが撮影した画像を取得する第１のインターフェースと、
   前記載置面に画像を表示する表示装置へ表示用の画像を出力する第２のインターフェースと、
   前記第１のインターフェースで取得する前記カメラが撮影した第１の画像から前記載置面に載置されている物品に存在しない形状の図形で構成するパターンによって前記載置面に表示する背景画像を生成し、
   前記第２のインターフェースから表示用の画像として出力する前記背景画像を前記表示装置によって前記載置面に表示した状態において前記カメラが撮影する第２の画像を前記第１のインターフェースにより取得し、
   前記第２の画像から前記載置面に載置されている物品の領域を特定する、
   プロセッサと、
   を備える物品認識装置。
5. 認識対象とする物品を載置する載置面を含む領域を撮影領域とするカメラが撮影する第１の画像を取得し、
   前記カメラが撮影した第１の画像から前記載置面に載置されている物品と区別できる直線で構成するパターンによって前記載置面に表示する背景画像を生成し、
   前記背景画像を前記載置面に表示し、
   前記載置面に前記背景画像を表示した状態において前記カメラが撮影する第２の画像を取得し、
   前記第２の画像から前記載置面に載置されている物品の領域を特定する、
   物品認識方法。