JP6160243B2 - 検出装置、検出方法及び検出プログラム - Google Patents

Description

本発明は、検出装置、検出方法及び検出プログラムに関し、特に、物体を撮像した画像を取得する検出装置、検出方法及び検出プログラムに関する。

一般に、コンビニエンスストア等の店舗では、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）システム等を利用して商品管理が行われている。しかしながら、一般的なシステムでは、商品陳列棚に陳列されている商品や商品の位置を自動的に把握することは困難である。商品陳列棚における商品の並び方は店舗の売り上げに大きく影響するため、商品陳列棚の商品や商品の位置を効果的に検出する技術が望まれている。

例えば、棚を撮影した画像から棚に配置された商品を検出する技術として、特許文献１が知られている。

特開２００９−１８７４８２号公報

しかしながら、特許文献１は、検出した商品から棚割モデルを生成するための技術であり、予め作成された「什器モデル」をもとにして、画像認識によって特定した各商品マスタを配置するものである。特許文献１では、予め商品が陳列される棚等の形状やサイズを「什器モデル」として作成しておくことが前提となっている。

すなわち、特許文献１では、予め商品棚の形状やサイズを定義しておき、定義された棚を画像の中から認識しなければならない。したがって、特許文献１のような関連する技術では、予め棚を検出するための情報を用意し、その情報をもとに画像処理を行う必要であるため、検出処理を簡易に行うことができないという問題があった。

本発明は、このような課題に鑑み、簡易に検出処理を行うことが可能な検出装置、検出方法及び検出プログラムを提供することを主要な目的としている。

本発明に係る検出装置は、物体を撮像した入力画像を取得する画像取得部と、前記入力画像に含まれる前記物体を認識する物体認識部と、前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体の配置を区切る領域を検出する区切り検出部と、を備えるものである。

本発明に係る検出方法は、物体を撮像した入力画像を取得し、前記入力画像に含まれる前記物体を認識し、前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体の配置を区切る領域を検出するものである。

本発明に係る検出プログラムは、物体を撮像した入力画像を入力し、前記入力画像に含まれる前記物体を認識し、前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体の配置を区切る領域を検出する検出処理をコンピュータに実行させるための検出プログラムである。

本発明によれば、簡易に検出処理を行うことが可能な検出装置、検出方法及び検出プログラムを提供することができる。

実施の形態に係る検出装置の主要な特徴を説明するための構成図である。 実施の形態１に係る商品検出装置の構成を示す構成図である。 実施の形態１に係る商品検出装置の動作を示すフローチャートである。 実施の形態１に係る商品検出装置の動作を説明するための説明図である。 実施の形態１に係る商品検出装置の動作を説明するための説明図である。 実施の形態１に係る商品検出装置の動作を説明するための説明図である。 実施の形態１に係る商品検出装置の動作を説明するための説明図である。 実施の形態２に係る商品検出装置の構成を示す構成図である。 実施の形態２に係る商品検出装置の動作を示すフローチャートである。 実施の形態２に係る商品検出装置の動作を説明するための説明図である。 実施の形態２に係る商品検出装置の動作を説明するための説明図である。 実施の形態２に係る商品検出装置の動作を説明するための説明図である。 実施の形態２に係る商品検出装置の動作を説明するための説明図である。 その他の実施の形態に係る商品検出装置の構成を示す構成図である。

（実施の形態の概要）
実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係る検出装置の主要な構成を示している。

図１に示すように、実施の形態に係る検出装置は、画像取得部１、物体認識部２、区切り検出部３を備えている。

画像取得部１は、物体を撮像した入力画像を取得する。物体認識部２は、入力画像に含まれる物体を認識する。区切り検出部３は、認識された物体の入力画像中の配置関係に基づいて、物体の配置を区切る領域を検出する。

このように、実施の形態では、入力画像の中から物体を認識し、認識された物体の位置や方向などの配置関係から棚など物体の配置を区切る領域を検出する。このため、実施の形態では、予め棚などを検出するための情報や処理が不要であるため、簡易に検出処理を行うことができる。例えば、区切る領域を検出することにより、区切る領域に対する物体の位置を把握できるため、簡易に物体の位置を検出することができる。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。本実施の形態では、商品の配置を区切る領域として棚の領域を検出し、特に、棚の段数を取得し、取得した段数の棚を画像の中から検出する。

図２は、本実施の形態に係る商品検出装置の構成を示している。この商品検出装置は、商品を含む棚を撮影した画像から、商品を認識するとともに、棚上の商品の位置を検出する。例えば、複数の棚２０１を有するゴンドラ什器（商品陳列棚）２００が店舗等に設置されており、各棚２０１に複数の商品２０２が陳列されている。なお、ここでは、商品を検出する商品検出装置の例を説明するが、商品に限らず、その他の物体を検出する物体検出装置（検出装置）でもよい。

図２に示すように、本実施の形態に係る商品検出装置１００は、画像取得部１０１、商品認識部１０２、棚段数取得部１０３、棚特定部１０４、商品位置検出部１０５、商品情報データベース１０６を備えている。なお、後述の商品検出方法（物体検出方法）が実現できれば、その他の機能ブロックで構成してもよい。

図２の商品検出装置１００における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。商品検出装置１００の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述する商品検出方法を行うための商品検出プログラム（物品検出プログラムもしくは検出プログラム）を格納し、商品検出装置１００の各機能を、記憶装置に格納された商品検出プログラムをＣＰＵで実行することにより実現してもよい。

商品検出プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

商品検出装置１００の各構成について説明する。商品情報データベース１０６は、ゴンドラ什器２００の棚２０１に陳列された商品２０２を認識するための商品マスタ情報（物品マスタ情報）を記憶する。例えば、商品マスタ情報は、商品名、商品の種類、商品を認識するための画像等を含んでいる。また、商品の画像は、商品の上下左右が識別可能となっている。

画像取得部１０１は、商品２０２、棚２０１、ゴンドラ什器２００を含むゴンドラ什器画像（入力画像）を取得する。例えば、店員等が一般的なカメラ２１０によりゴンドラ什器２００の全体を含むように撮影し、撮影したゴンドラ什器画像を画像取得部１０１に入力することで、画像取得部１０１が画像を取得する。ゴンドラ什器画像は、店員等がカメラ２１０を操作して撮影してもよいし、店舗等に備えられたカメラ２１０により自動的に撮影してもよい。画像取得部１０１への画像の入力は、カメラ２１０から直接入力してもよいし、記憶媒体やネットワーク等を介して入力してもよい。

商品認識部（物品認識部）１０２は、入力されたゴンドラ什器画像に含まれる商品２０２を認識する。商品認識部１０２は、一般的な画像マッチング処理を行うことで商品２０２を認識する。商品認識部１０２は、商品情報データベース１０６に記憶された商品マスタ情報とゴンドラ什器画像を比較し、商品マスタ情報とマッチング（一致）する画像領域を検出することで、商品２０２の種類や位置、方向等を認識する。

棚段数取得部１０３は、ゴンドラ什器２００に含まれる棚２０１の段数（区切り数）を取得する。例えば、店員等がキーボードを用いて棚段数入力部１０３に棚の段数を入力することで、棚段数入力部１０３が段数を取得する。

棚特定部１０４は、商品の配置を区切る領域を検出する区切り検出部の一例である。本実施の形態の棚特定部１０４は、認識された複数の商品２０２の配置位置の差分に基づいて棚２０１の領域（商品の配置を区切る領域）を特定する。棚特定部１０４は、認識した商品２０２の位置が離れている領域を棚２０１の領域と判定する。特に、棚特定部１０４は、取得した段数の棚２０１の領域を、ゴンドラ什器画像の中から特定する。なお、棚２０１の領域を検出する例について説明するが、棚のライン（配置面）のみを検出してもよい。棚特定部１０４は、商品の上端または下端の差分に基づいて、商品の上端より上に棚２０１を検出してもよいし、商品の下端より下に棚２０１を検出してもよい。さらに、棚特定部１０４は、商品の右端または左端の差分に基づいて、商品の右端より右に棚２０１を検出してもよいし、商品の左端より左に棚２０１を検出してもよい。

商品位置検出部（物品位置検出部）１０５は、ゴンドラ什器画像の中で認識された商品２０２と特定された棚２０１とに基づき、棚２０１に対する商品２０２の位置を検出する。商品位置検出部１０５は、ゴンドラ什器２００における各棚２０１の左右方向の順番（フェイス）を検出する。これにより、どの棚のどこにどのような商品が配置されているかを把握することができる。なお、棚の上に商品が配置されていない場合もあるため、商品間に隙間が空いている場合は、空きスロットを考慮して、商品の配置順番を検出してもよい。

次に、図３を用いて、本実施の形態に係る商品検出装置で実行される商品検出方法（物品検出方法）について説明する。

図３に示すように、まず、画像取得部１０１が画像を取得する（Ｓ１０１）。店員等が店舗に設置されているゴンドラ什器２００の全体をカメラ２１０で撮影し、撮影したゴンドラ什器画像を画像取得部１０１に入力することで、画像取得部１０１が画像を取得する。図４は、画像取得部１０１が取得するゴンドラ什器画像３００の一例を示している。ゴンドラ什器画像３００は、商品２０２、棚２０１、ゴンドラ什器２００の全体を含んでいる。この例では、ゴンドラ什器２００は、３段の棚２０１を有し、棚２０１のそれぞれに２つの商品２０２が配置されている。なお、店員等がゴンドラ什器２００の一部を複数回に分けて撮影した画像を入力し、画像入力部１０１が複数の画像を合成することで、ゴンドラ什器画像３００を生成してもよい。

続いて、商品認識部１０２は、取得した画像に含まれる商品を認識する（Ｓ１０２）。商品認識部１０２は、商品情報データベース１０６に記憶された商品マスタ情報と取得したゴンドラ什器画像とのマッチング（一致）を判定する。例えば、商品認識部１０２は、画像の色や輝度の変化に基づいて輪郭（エッジ）を検出し、輪郭に囲まれた領域の特徴と商品マスタ情報の特徴との類似度を算出し、類似度の高い商品が輪郭の領域（商品検出領域）に存在すると認識する。商品認識部１０２は、商品マスタ情報を参照することで、商品の上下左右、商品の配置領域の四隅、商品名、種類等を検出する。また、商品認識部１０２は、商品の上下左右及び四隅から、商品の配置方向を検出することができる。

図５は、商品認識部１０２が、図４のゴンドラ什器画像３００から商品２０２を認識した結果を示している。商品認識部１０２は、ゴンドラ什器画像３００の中の領域を商品マスタ情報と比較し、商品マスタ情報と一致する６つの領域を商品検出領域３０２と判定する。これにより、商品認識部１０２は、各商品検出領域３０２における、商品名、商品の種類、商品の上下左右、四隅、配置方向等が把握できる。

続いて、棚段数取得部１０３が棚の段数を取得する（Ｓ１０３）。店員等がキーボードを操作し、棚段数取得部１０３に検出すべき棚の段数を入力することで、棚段数取得部１０３が棚の段数を取得する。例えば、図４及び図５のゴンドラ什器画像３００の場合、棚２０１が３つであるため、店員等が段数として３を入力する。

続いて、棚特定部１０４は、商品の位置の差分を算出する（Ｓ１０４）。棚特定部１０４は、ゴンドラ什器画像３００から棚２０１の領域を検出するため、Ｙ座標軸（画像の縦方向）上で隣り合う商品の位置の差分を算出する。

図６は、図５で検出した商品検出領域３０２から差分を算出する例である。棚特定部１０４は、Ｙ座標軸上で隣り合う商品検出領域３０２の座標の差分を算出する。例えば、棚特定部１０４は、商品検出領域３０２の左下端を特定し、Ｙ座標軸上で隣り合う商品の左下端のＹ座標の差分を算出する。なお、棚特定部１０４は、商品の左下端に限らず、右下端や左下及び右下の平均を用いて算出してもよいし、左上端または右上端や、左上及び右上の平均を用いて算出してもよい。その他、棚特定部１０４は、商品の中央の座標の差分を算出してもよい。

図６では、商品検出領域３０２ａのＹ座標を１０、商品検出領域３０２ｂのＹ座標を１２、商品検出領域３０２ｃのＹ座標を２０、商品検出領域３０２ｄのＹ座標を２１、商品検出領域３０２ｅのＹ座標を３０、商品検出領域３０２ｆのＹ座標を３２とし、棚特定部１０４がこれらの差分を算出する。

例えば、棚特定部１０４は、Ｙ座標軸上に商品検出領域３０２のＹ座標を並べて、Ｙ座標の原点から小さい順に隣り合う座標の差分を算出する。この例では、原点と商品検出領域３０２ａのＹ差分は１０、商品検出領域３０２ａと３０２ｂ間のＹ差分は２、商品検出領域３０２ｂと３０２ｃ間のＹ差分は８、商品検出領域３０２ｃと３０２ｄ間のＹ差分は１、商品検出領域３０２ｄと３０２ｅ間のＹ差分は９、商品検出領域３０２ｅと３０２ｆ間のＹ差分は２となる。

続いて、棚特定部１０４は、棚の領域を特定する（Ｓ１０５）。棚特定部１０４は、算出したＹ座標軸上で隣り合う商品の位置の差分に基づいて棚の領域を特定する。棚特定部１０４は、取得した段数分の棚が、Ｙ座標の差分の大きい領域にあると判定する。例えば、棚特定部１０４は、配置位置の差分が所定の閾値よりも大きい領域が棚の領域であると判定してもよい。また、棚特定部１０４は、配置位置の差分が大きい順に、取得した段数分の棚の領域を検出してもよい。

図７は、図６で算出した商品のＹ座標の差分から棚の領域を特定する例である。ここでは、棚の段数に３が入力されているため、棚特定部１０４は、Ｙ座標軸上で隣り合う商品のＹ座標差分の大きい順に３つの棚の領域を検出する。ここでは一例として原点との差分を除いて棚の領域を検出する。まず、Ｙ座標の差分が最も大きいのは、商品検出領域３０２ｄと３０２ｅの間であり、次に大きいのは、商品検出領域３０２ｂと３０２ｃの間である。このため、棚特定部１０４は、商品検出領域３０２ｄと３０２ｅの間と、商品検出領域３０２ｂと３０２ｃの間に棚が含まれるものとして、それぞれ棚領域３０１ａ及び３０１ｂを特定する。また、商品と棚とは重複しないため、商品とは重ならない領域を棚領域とする。すなわち、商品検出領域３０２ｄと３０２ｅの間で、商品検出領域３０２ｅと重ならない領域を棚領域３０１ｂとし、商品検出領域３０２ｂと３０２ｃの間で、商品検出領域３０２ｃと重ならない領域を棚領域３０１ａとする。さらにこの例では、棚の上に商品が配置されているため、棚特定部１０４は、商品検出領域３０２ｆの下に棚領域３０１ｃを検出する。

続いて、商品位置検出部１０５は、商品の位置を検出する（Ｓ１０６）。商品位置検出部１０５は、特定した棚領域に対する商品の位置（配置順番）を検出する。商品位置検出部１０５は、棚領域に対する位置から、何段目の棚の何番目にどのような商品があるか検出する。

図７の例では、商品位置検出部１０５は、棚領域３０１を区切りとして、商品検出領域３０２のＹ座標をもとに、商品を棚の上下に振り分ける。商品位置検出部１０５は、商品検出領域３０２ａ及び３０２ｂ、商品検出領域３０２ｃ及び３０２ｄ、商品検出領域３０２ｅ及び３０２ｆがそれぞれ同じ棚に配置されているものとして振り分け、商品検出領域３０２のＸ座標の順に棚の上の位置及び商品を検出する。

この例では、商品位置検出部１０５は、上から１段目の棚（棚領域３０１ａ）には、左から１番目（商品検出領域３０２ａ）にお茶が配置され、２番目（商品検出領域３０２ｂ）に水が配置され、上から２段目の棚（棚領域３０１ｂ）には、左から１番目（商品検出領域３０２ｃ）にコーヒーが配置され、２番目（商品検出領域３０２ｄ）にジュースが配置され、上から３段目の棚（棚領域３０１ｃ）には、左から１番目（商品検出領域３０２ｅ）に牛乳が配置され、２番目（商品検出領域３０２ｆ）にヨーグルトが配置されていることを検出する。

以上のように、本実施の形態では、取得した画像から商品を認識し、取得した段数の棚を商品の位置に基づいて検出し、さらに商品の棚上の位置を検出する。これにより、予め棚を認識するための情報やその情報に基づく処理が不要であるため、簡易に、商品の配置を区切る棚を検出するとともに、商品の棚上の位置を検出することができる。

（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、商品の配置を区切る領域を示すラインを検出し、特に、入力画像の中で認識された商品に接するラインに基づいて棚を検出する。主に、実施の形態１と相違する部分について説明する。

図８は、本実施の形態に係る商品検出装置の構成を示している。図８に示すように、本実施の形態に係る商品検出装置１００は、実施の形態１の図２と比べて、棚段数取得部１０３に代えて、仮棚ライン推定部１０７を備えている。例えば、仮棚ライン推定部１０７及び棚特定部１０４が、商品の配置を区切る領域を検出する区切り検出部を構成するともいえる。本実施の形態では、認識された商品の配置方向に沿ったライン（商品ラインもしくは物品ライン）に基づいて、区切る領域を検出する。

仮棚ライン推定部１０７は、取得したゴンドラ什器画像において、認識した商品２０２が配置されている仮棚ラインを推定する。仮棚ラインは、認識した商品２０２の上端または下端を通過する一直線のライン（商品ラインもしくは物品ライン）である。また、商品の右端または左端を通過する仮棚ラインを検出してもよい。

本実施の形態の棚特定部１０４は、推定された仮棚ラインに基づいて、棚２０１の配置面である棚ライン（配置ライン）を特定する。棚特定部１０４は、複数の仮棚ライン（商品ライン）のパラメータを投票空間に投票することで棚ラインを特定する。

次に、図９を用いて、本実施の形態に係る商品検出装置で実行される商品検出方法（物品検出方法）について説明する。

図９に示すように、まず、画像取得部１０１がゴンドラ什器画像を取得し（Ｓ１０１）、商品認識部１０２がゴンドラ什器画像に含まれる商品２０２を認識する（Ｓ１０２）。実施の形態１と同様に、画像取得部１０１が図４のようなゴンドラ什器画像３００を取得し、商品認識部１０２が図５のようにゴンドラ什器画像３００の中から、商品２０２を検出した商品検出領域３０２を特定する。

続いて、仮棚ライン推定部１０７は、仮棚ラインを推定する（Ｓ１０７）。仮棚ライン推定部１０７は、認識した商品の下端または上端に対応した仮棚ライン（商品ライン）を推定する。この例では、棚２０１の上に商品２０２が配置されているため、仮棚ライン推定部１０７は、商品の下端を含む下辺（底辺）に沿ったラインを仮棚ラインとする。

仮棚ライン推定部１０７は、仮棚ラインを、次の式１のような一般的な直線式から求めてもよい。式１は傾きａとｙ軸切片ｂをパラメータとする式の例である。
ｙ＝ａｘ＋ｂ ・・・（式１）

また、仮棚ライン推定部１０７は、仮棚ラインを、次の式２のような直線式から求めてもよい。図１０に示すように、式２におけるパラメータθ及びｒは、ｘ軸に対する角度θと原点からの距離ｒである。式１の場合、直線によってはパラメータａが無限大となる場合があるのに対し、式２では、どのような直線でも有限のパラメータθ及びｒによりラインを特定できる。
ｒ＝ｘｃｏｓθ＋ｙｓｉｎθ ・・・（式２）

図１０に示すように、商品検出領域３０２の右下端及び左下端を通る直線を仮棚ライン４０１とする。仮棚ライン推定部１０７は、商品検出領域３０２の右下端及び左下端の座標を式２に代入し、仮棚ラインを示す直線式を求める。なお、仮棚ライン推定部１０７は、右下端と左下端の平均から直線式を求めてもよい。

図１１は、図５で検出した商品検出領域３０２から仮棚ライン４０１を求めた例である。仮棚ライン推定部１０７は、各商品検出領域３０２について、それぞれ右下端及び左下端を通る直線を仮棚ライン４０１とする。この例では、仮棚ライン推定部１０７は、商品検出領域３０２ａ〜３０２ｆについて、それぞれ右下端及び左下端の座標から直線式を求め、仮棚ライン４０１ａ〜４０１ｆを特定する。

続いて、棚特定部１０４は、仮棚ラインの投票を行う（Ｓ１０８）。棚特定部１０４は、複数の仮棚ライン４０１に基づいて、棚２０１のラインを特定するため、仮棚ライン４０１のパラメータを投票空間に投票する。

図１２は、図１１で特定した仮棚ライン４０１を投票する投票空間の例である。この例では、上記の式２により仮棚ラインを特定しているため、棚特定部１０４は、仮棚ラインのパラメータθ及びｒを横軸及び縦軸とする投票空間に投票する。投票空間は、θ及びｒが一定間隔の投票値で区切られており、棚特定部１０４は、仮棚ライン４０１ａ〜４０１ｆのパラメータθ及びｒを該当する投票値に投票する。

例えば、仮棚ライン４０１ａ及び４０１ｂのパラメータθはθ１に最も近く、パラメータｒはｒ１に最も近いため、棚特定部１０４は、θ１及びｒ１の投票値に投票する。同様に、棚特定部１０４は、仮棚ライン４０１ｃ及び４０１ｄのパラメータθ及びｒに最も近いθ１及びｒ２の投票値に投票し、仮棚ライン４０１ｅ及び４０１ｆのパラメータθ及びｒに最も近いθ１及びｒ３の投票値に投票する。

なお、棚特定部１０４は、パラメータに重みをつけて投票してもよい。例えば、棚特定部１０４は、直線式のパラメータが近い方の投票値に大きい重みをつけて投票してもよい。また、棚特定部１０４は、パラメータｒ及びθを同時に投票してもよいし、パラメータｒ及びθを別々に独立して投票してもよい。例えば、棚の方向は平行でるためθは近いものと推定されるため、棚特定部１０４は、まずθのみを投票し、θを決定した後で、ｒを投票してもよい。

続いて、棚特定部１０４は、棚ラインを検出する（Ｓ１０９）。棚特定部１０４は、仮棚ラインの投票結果に基づいて棚ラインを検出する。棚特定部１０４は、投票の結果が多いパラメータのラインを棚ラインとする。例えば、棚特定部１０４は、投票した結果が閾値より大きいライン、もしくは、閾値よりも大きくかつ周辺で最も大きいラインを検出する。また、棚特定部１０４は、投票した結果が大きい順に、棚のラインを検出してもよい。

図１２の例では、θ１及びｒ１（投票値）に仮棚ライン４０１ａ及び４０１ｂのパラメータが投票され、θ１及びｒ２に仮棚ライン４０１ｃ及び４０１ｄのパラメータが投票され、θ１及びｒ３に仮棚ライン４０１ｅ及び４０１ｆのパラメータが投票されている。このため、棚特定部１０４は、θ１及びｒ１、θ１及びｒ２、θ１及びｒ３を、それぞれ棚ラインのパラメータとする。

図１３は、図１２の投票結果から検出した棚ラインを示している。棚ライン４０２ａは、仮棚ライン４０１ａ及び４０１ｂのパラメータから特定されたθ１及びｒ１（投票値）のラインであり、棚ライン４０２ｂは、仮棚ライン４０１ｃ及び４０１ｄのパラメータから特定されたθ１及びｒ２のラインであり、棚ライン４０２ｃは、仮棚ライン４０１ｅ及び４０１ｆのパラメータから特定されたθ１及びｒ３のラインである。

続いて、商品位置検出部１０５は、商品の位置を検出する（Ｓ１０６）。商品位置検出部１０５は、特定した棚ラインに対する商品の位置を検出する。商品位置検出部１０５は、棚ラインに対する位置から、何段目の棚の何番目にどのような商品があるか検出する。

図１３の例では、商品位置検出部１０５は、図１２の投票結果の関係から、棚ライン４０２ａには仮棚ライン４０１ａ及び４０１ｂが配置され、棚ライン４０２ｂには仮棚ライン４０１ｃ及び４０１ｄが配置され、棚ライン４０２ｃには仮棚ライン４０１ｅ及び４０１ｆが配置されていることがわかる。この関係に基づいて、商品検出領域３０２のＸ座標の順に棚の上の位置及び商品を検出する。

この例では、商品位置検出部１０５は、上から１段目の棚（棚ライン４０２ａ）には、左から１番目（商品検出領域３０２ａ）にお茶が配置され、２番目（商品検出領域３０２ｂ）に水が配置され、上から２段目の棚（棚ライン４０２ｂ）には、左から１番目（商品検出領域３０２ｃ）にコーヒーが配置され、２番目（商品検出領域３０２ｄ）にジュースが配置され、上から３段目の棚（棚ライン４０２ｃ）には、左から１番目（商品検出領域３０２ｅ）に牛乳が配置され、２番目（商品検出領域３０２ｆ）にヨーグルトが配置されていることを検出する。

以上のように、本実施の形態では、取得した画像から商品を認識し、認識した商品の配置方向に基づいて棚を検出し、さらに商品の棚上の位置を検出する。これにより、予め棚を認識するための情報やその情報に基づく処理が不要であるため、簡易に、商品を区切る領域である棚を検出するとともに、商品の棚上の位置を検出することができる。

（その他の実施の形態）
上記実施の形態では、棚の上に横方向に並べた商品の位置を検出したが、商品を上下に積み上げた場合や商品を吊り下げている場合など縦方向の位置を検出してもよい。すなわち、商品の右端または左端に基づいて縦方向に商品の配置を区切る領域（ライン含む）を特定し、縦方向の商品の配置位置を検出してもよい。

また、商品の右端または左端に基づいて棚の端部を特定してもよい。一番右側に配置された商品の右端を棚の右端とし、一番左側に配置された商品の左端を棚の左端とする。例えば、全ての棚のうち最も左側の左端を横方向のスロットの１番目として、他の棚の位置を検出してもよい。

また、図１４に示すように、実施の形態１または２の構成に加えて、ゴンドラ什器を検出するゴンドラ検出部１０８を備えていてもよい。ゴンドラ検出部１０８は、検出した配置ラインに基づいて、ゴンドラの端部を検出する。例えば、ゴンドラ検出部１０８は、商品の右端または左端に基づいてゴンドラ什器の端部を特定してもよい。全ての棚のうち一番右側に配置された商品の右端をゴンドラ什器の右端とし、全ての棚のうち一番左側に配置された商品の左端をゴンドラ什器の左端とする。これにより、画像内のゴンドラ什器を複数のゴンドラ什器に分離し、ゴンドラ什器ごとの商品の位置を検出してもよい。すなわち、どのゴンドラ什器のどの棚のどこにどのような商品が配置されているか検出する。

通常、同じ棚には同じ商品を並べて配置することが多いため、商品の配置に加えて商品の種類を考慮して商品の位置を検出してもよい。例えば、商品の種類ごとに区切ることで、棚やゴンドラ什器の端部を検出してもよい。また、実施の形態２で同じ種類のラインに投票する場合には重みづけを大きくしてもよい。

また、商品が積み上げられて上下に商品が接している（近い）場合、接している部分のライン（領域）は棚ではないと判定してもよい。例えば、閾値以上離れている部分のライン（領域）を棚と判定してもよい。また、上下の商品が近く、かつ、種類も同じ場合、商品が積み上げられていると判定してもよい。

上記実施の形態では、棚に配置された商品の位置を検出したが、棚や商品に限らず、倉庫に並べられた部品の位置、駐車場に並んで駐車された車の位置、列に並んでいる人の位置などを検出してもよい。
上記実施の形態では、商品などの物体の配置を区切る領域を検出したが、区切る領域には、実施の形態１のような所定の形状の領域（棚領域）や、実施の形態２のような直線状のライン（棚ライン）が含まれる。また、区切る領域の形状は、実施の形態１のような四角形に限らず任意の形状であってもよい。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 画像取得部
２ 物体認識部
３ 区切り検出部
１００ 商品検出装置
１０１ 画像取得部
１０２ 商品認識部
１０３ 棚段数取得部
１０４ 棚特定部
１０５ 商品位置検出部
１０６ 商品情報データベース
１０７ 仮棚ライン推定部
１０８ ゴンドラ検出部
２００ ゴンドラ什器
２０１ 棚
２０２ 商品
２１０ カメラ
３００ ゴンドラ什器画像
３０１ 棚領域
３０２ 商品検出領域
４０１ 仮棚ライン
４０２ 棚ライン

Claims (21)

1. 物体を撮像した入力画像を取得する画像取得部と、
   前記入力画像に含まれる棚に配置されている前記物体を認識する物体認識部と、
   前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体が配置されている前記棚の領域を検出する区切り検出部と、
   を備える検出装置。
2. 前記配置関係は、前記認識された物体の配置位置または配置方向の関係である、
   請求項１に記載の検出装置。
3. 前記物体認識部は、前記入力画像に含まれる複数の前記物体を認識し、
   前記区切り検出部は、前記認識された複数の物体の前記入力画像中の配置位置の差分に基づいて、前記棚の領域を検出する、
   請求項１に記載の検出装置。
4. 前記区切り検出部は、前記複数の物体の配置位置の差分が閾値よりも大きい領域を、前記棚の領域であると判定する、
   請求項３に記載の検出装置。
5. 前記区切り検出部は、前記複数の物体の配置位置の差分が大きい順に前記棚の領域を検出する、
   請求項３に記載の検出装置。
6. 前記区切り検出部は、入力される棚の段数に応じた前記棚の領域を検出する、
   請求項３乃至５のいずれか一項に記載の検出装置。
7. 前記複数の物体の配置位置の差分は、前記物体のそれぞれの上端または下端の配置位置の差分であり、
   前記検出する棚の領域は、前記物体の上端より上、または前記物体の下端より下の領域である、
   請求項３乃至６のいずれか一項に記載の検出装置。
8. 前記複数の物体の配置位置の差分は、前記物体のそれぞれの右端または左端の配置位置の差分であり、
   前記検出する棚の領域は、前記物体の右端より右、または前記物体の左端より左の領域である、
   請求項３乃至６のいずれか一項に記載の検出装置。
9. 前記区切り検出部は、前記認識された物体の前記入力画像中の配置方向に沿った物体ラインに基づいて、前記棚の領域を検出する、
   請求項１に記載の検出装置。
10. 前記物体認識部は、前記入力画像に含まれる複数の前記物体を認識し、
    前記区切り検出部は、前記認識された複数の物体の前記物体ラインのパラメータを投票空間に投票した投票結果に基づいて、前記棚の領域を検出する、
    請求項９に記載の検出装置。
11. 前記区切り検出部は、前記投票空間のうち投票数が閾値よりも大きい場合、該当するパラメータを前記棚の領域のパラメータであると判定する、
    請求項１０に記載の検出装置。
12. 前記区切り検出部は、前記投票空間のうち投票数が大きい順に対応して、該当するパラメータを前記棚の領域のパラメータであると判定する、
    請求項１１に記載の検出装置。
13. 前記物体ラインは、前記認識された物体の上端、下端、右端または左端を通るラインである、
    請求項９乃至１２のいずれか一項に記載の検出装置。
14. 前記検出された棚の領域に対する前記物体の位置を検出する物***置検出部を備える、
    請求項１乃至１３のいずれか一項に記載の検出装置。
15. 前記物***置検出部は、前記物体の前記棚上の位置を検出する、
    請求項１４に記載の検出装置。
16. 前記検出した物体の棚上の位置に基づいて、前記棚を備えるゴンドラの端部を検出するゴンドラ検出部を備える、
    請求項１５に記載の検出装置。
17. 前記検出した棚の領域に基づいて、前記棚を備えるゴンドラの端部を検出するゴンドラ検出部を備える、
    請求項１乃至１４のいずれか一項に記載の検出装置。
18. 前記区切り検出部は、前記認識された物体の種類に基づいて、前記棚の領域を検出する、
    請求項１乃至１７のいずれか一項に記載の検出装置。
19. 前記入力画像は、前記棚の一部を含む複数の画像を合成した画像である、
    請求項１乃至１８のいずれか一項に記載の検出装置。
20. 物体を撮像した入力画像を取得し、
    前記入力画像に含まれる棚に配置されている前記物体を認識し、
    前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体が配置されている前記棚の領域を検出する、
    検出方法。
21. 物体を撮像した入力画像を入力し、
    前記入力画像に含まれる棚に配置されている前記物体を認識し、
    前記認識された物体の前記入力画像中の配置関係に基づいて、前記物体が配置されている前記棚の領域を検出する、
    検出処理をコンピュータに実行させるための検出プログラム。

Images