以下、本発明の実施形態を図面を参照して説明する。
[第1の実施形態]
第1の実施形態では、撮像画像に基づいて、顧客が購入予定の商品のリスト(以下、買い物リストと記す。)を管理するセルフレジシステム1について説明する。本実施形態のセルフレジシステム1は、特に、商品が取られた場所とは異なる場所に戻されたことを検出して、買い物リストを適切に管理する。
後述するように、本実施形態のセルフレジシステム1は、撮像装置2が撮像した撮像画像に基づいて、商品棚3の変化を検出するとともに、撮像画像に含まれる人物や物体の領域を検出する。そして、セルフレジシステム1は、商品棚3の変化と抽出した人物とを関連付けるとともに、人物を基準として関連づけた情報を統合する。このように、セルフレジシステム1は、抽出した人物に基づいて、商品棚3の変化を関連付けるよう構成されている。これにより、セルフレジシステム1は、顧客が一度手に取った商品を別の商品棚3に置いた場合など、商品が取られた場所とは異なる場所に戻されたことを検出する。
図1は、本発明によるセルフレジシステムの第1の実施形態の構成例を示すブロック図である。本実施形態のセルフレジシステム1は、顧客が携帯する端末10と、画像処理装置100と、撮像装置2と、買い物リスト管理装置20と、出力装置30と、決済装置40と、人物識別装置50とを備えている。端末10と、画像処理装置100と、撮像装置2と、買い物リスト管理装置20と、出力装置30と、決済装置40と、人物識別装置50とは、例えば、ネットワークNを介して相互に接続される。
なお、本実施形態では、画像処理装置100と、撮像装置2と、買い物リスト管理装置20とが、それぞれ別個の構成であるとして説明を行う。しかし、各装置が、他の装置に内蔵される構成であってもよい。例えば、撮像装置2が後述する画像処理装置100としての機能を有していてもよく、画像処理装置100が撮像装置2としての機能を有していてもよい。また、例えば、画像処理装置100と買い物リスト管理装置20とが、同一のハードウェアで実現され、撮像装置2が撮像する画像を受信して、後述する各処理を行ってもよい。
また、図1では、撮像装置2が1つの場合について例示している。しかし、セルフレジシステム1が備える撮像装置2の数は1つに限定されず、2つ以上であってもよい。
図2は、セルフレジシステム1の利用シーンの例を示す説明図である。図2を参照すると、セルフレジシステム1では、撮像装置2が、店舗の商品棚3を撮像する。そして、撮像装置2は、撮像した撮像画像を示す映像信号を、画像処理装置100に送信する。
撮像装置2は、例えば、店舗などに設置されている監視カメラである。撮像装置2は、例えば、店舗内などにおいて商品棚3を撮像可能な所定位置に設置されている。また、撮像装置2には、その撮像装置2を識別するためのカメラIDなどが予め割り当てられている。撮像装置2は、撮像画像を取得する。この際、撮像装置2は、例えば、自身が有する時計などを参照して、撮像画像を取得した時刻である撮像時刻を取得した撮像画像に関連付ける。このように、撮像装置2は、商品棚3などの様子を示す撮像画像を取得する。
なお、撮像装置2が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。また、本実施形態において、撮像装置2が取得する撮像画像は、カラー画像(以下、RGB(Red Green Blue)画像と呼ぶ)である。撮像装置2が取得する撮像画像は、例えば、RGB画像以外の色空間の画像であってもよい。
上述したように、撮像装置2は、取得した撮像画像を示す映像信号を、画像処理装置100に送信する。撮像装置2は、撮像画像を撮像装置2の内部または画像処理装置100とは異なる記憶装置に格納してもよい。
画像処理装置100は、商品が撮像されている撮像画像を分析することで、商品の陳列状態の変化を検出する情報処理装置である。また、本実施形態では、画像処理装置100は、商品が取られた場所とは異なる場所に戻されたことを検出する。
図3は、画像処理装置100の構成例を示す説明図である。本実施形態の画像処理装置100は、第1取得部110と、第1変化検出部120と、第1記憶部130と、第1関連性生成部140と、関連性統合部150と、陳列検出部160とを含む。具体的には、画像処理装置100は、例えば、演算装置および記憶装置(図示せず)を含む。そして、画像処理装置100は、例えば、記憶装置に格納されたプログラムを演算装置で実行することで、上記各処理部を実現する。
なお、図3に例示する画像処理装置100は、本開示に特有な構成について示したものである。画像処理装置100は、図3に示されていない部材を有してもよい。この点は、第2の実施形態以降についても同様である。
第1取得部110は、撮像装置2が商品棚3を撮像することによって得た撮像画像を示す映像信号を取得する。第1取得部110は、撮像装置2から送信された映像信号を受信してもよい。第1取得部110は、撮像装置2の内部または撮像装置2および画像処理装置100とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。
なお、上述したように、画像処理装置100は撮像装置2に内蔵される構成であってもよい。このような構成の場合、第1取得部110は、撮像画像そのものを取得する構成であってもよい。
第1取得部110は、取得した映像信号を、その映像信号を構成するRGB画像に変換する。そして、第1取得部110は、変換したRGB画像を第1変化検出部120に供給する。なお、第1取得部110が映像信号を変換することによって得たRGB画像は、撮像装置2が商品棚3を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。
図4は、第1変化検出部120および第1記憶部130の構成例を示すブロック図である。以下、図4を参照して、第1変化検出部120および第1記憶部130について説明する。
第1記憶部130は、ハードディスクやメモリなどの記憶装置である。第1記憶部130は、背景情報131と、棚変化モデル132と、前景情報133と、人物情報134とを記憶する。なお、第1記憶部130は、画像処理装置100とは異なる記憶装置で実現されてもよいし、第1変化検出部120に内蔵されてもよい。また、背景情報131と、棚変化モデル132と、前景情報133と、人物情報134とは、同一の記憶装置に格納されてもよいし、別々の記憶装置に格納されてもよい。
背景情報131は、第1変化検出部120が撮像画像と比較するための基準となる画像である。背景情報131は、背景画像とも呼ぶ。背景情報131は、例えば、撮像画像と同じ種類の画像であることが好ましい。本実施形態では、上述した通り、撮像画像はRGB画像である。そのため、背景情報131もRGB画像であることが好ましい。なお、背景情報131は、第1取得部110から第1変化検出部120に対して最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。
また、後述するように、背景情報131は、更新可能な情報である。背景情報131を更新する際の処理の詳細は、後述される。
棚変化モデル132は、事前に学習された、商品棚3の変化をモデル化したものである。棚変化モデル132は、例えば、予め第1記憶部130に格納されている。棚変化モデル132は、例えば、一般的に広く知られているConvolutional Neural Networkなどの機械学習を用いて学習されることによって得られてもよい。
棚変化モデル132は、例えば、商品棚3に商品が含まれる画像と商品棚3に商品が含まれない画像とを用いて学習された「商品棚3に商品が含まれなくなったことによる変化」または「商品棚3に商品が新たに含まれたことによる変化」を表す。また、棚変化モデル132は、複数の商品の画像および各商品の形状が変化した複数の画像を用いて学習された「商品棚3に陳列された商品の見た目が変わったことによる変化」を表す。また、棚変化モデル132は、商品棚3の前に何も対象物が存在しない状態で撮像された撮像画像と、商品棚3の前に人物などの対象物が存在する状態で撮像された撮像画像とを用いて学習された、「商品棚3の前に人物が存在することによる変化」、「商品棚3の前に買い物カートがあることによる変化」等を表す。また、棚変化モデル132は、様々な環境下で画像を用いて学習された、例えば、「照明が変わったことによる変化」を表してもよい。
棚変化モデル132の学習データは、例えば、変化前後の2つのRGB画像を結合した6チャネル画像でもよいし、変化前後の2つのRGB画像のR成分、G成分、またはB成分のいずれか1つを結合した2チャネル画像でもよい。また、学習データは、例えば、変化前後の2つのRGB画像のR成分、G成分、またはB成分のいずれか2つを結合した4チャネル画像でもよいし、変化前後の2つのRGB画像をグレースケール画像に変換してから結合した2チャネル画像でもよい。また、学習データは、変化前後のRGB画像をHSV(Hue Saturation Value)色空間など他の色空間に変換し、他の色空間への変換後の色空間における1つまたは複数のチャネルを結合した画像でもよい。
また、棚変化モデル132の学習データは、RGB画像のようなカラー画像から生成されたものであってもよいし、カラー画像と距離画像との両方を用いて生成されたものであってもよい。
前景情報133は、前景領域検出部121により格納される情報である。前景情報133は、前景領域検出部121が背景画像である背景情報131と撮像画像であるRGB画像とを比較した結果検出する、RGB画像のうちの背景画像と異なる領域である前景領域(変化領域)を示す情報を含む。具体的には、前景情報133は、例えば、撮像画像の撮像時刻が関連付けられた2値画像である。なお、前景情報133を格納する処理の詳細は後述される。
人物情報134は、前景領域追跡部123により格納される情報である。人物情報134は、例えば、前景領域追跡部123が抽出した人物領域に撮像装置のID(カメラID)や人物IDや撮像画像上の位置や撮像画像の撮像時刻などを関連付けることで生成される。後述するように、人物領域は、例えばRGB画像である。換言すると、人物情報134は、例えば、格納された人物領域の色、面積、形状および外接矩形のアスペクト比などを示す情報を含むことができる。なお、人物情報134を格納する処理の詳細も後述される。
第1変化検出部120は、商品棚3に関する変化領域を検出する。
第1変化検出部120は、例えば、撮像画像に含まれる商品棚3に陳列された商品が、撮像画像よりも前に取得された画像(例えば背景画像)に含まれない場合、その商品の領域を検出する。また、第1変化検出部120は、例えば、背景画像に含まれる商品棚3に陳列された商品が撮像画像に含まれない場合、その商品の領域を検出する。また、第1変化検出部120は、例えば、撮像画像に含まれる商品棚3に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、その商品の領域を検出する。このように、第1変化検出部120は、撮像画像に基づいて、商品が減った(無くなった)、商品が増えた(新たに出現した)、商品の見た目が変わった、などの商品の陳列状態の変化を検出する。
また、第1変化検出部120は、例えば、撮像画像が商品棚3と撮像装置2との間に人物や物体が存在した時に撮像された場合、商品棚3を撮像した撮像画像に含まれる人物や物体の領域を検出する。
以上のように、第1変化検出部120は、商品の陳列状態が変化した領域である商品棚3の内部の変化領域や、商品棚3と撮像装置2との間に存在した人物や物体による撮像画像の変化領域など、商品棚3に関する変化領域を検出する。
図4に例示する通り、第1変化検出部120は、前景領域検出部121と、背景情報更新部122と、前景領域追跡部123と、第1抽出部124と、第2抽出部125と、領域変化分類部126とを有する。
前景領域検出部121は、第1取得部110から供給された撮像画像を受け取る。また、前景領域検出部121は、撮像画像に対応する背景情報131を第1記憶部130から取得する。上述した通り、背景情報131はRGB画像である。前景領域検出部121は、2つのRGB画像である撮像画像と背景情報131とを比較する。そして、前景領域検出部121は、比較した2つのRGB画像の間で変化した領域を変化領域として検出する。前景領域検出部121は、背景画像である背景情報131と撮像画像であるRGB画像とを比較するため、背景画像と異なる領域である前景領域を検出する処理を行っているとも言える。
なお、本実施形態において、前景領域検出部121が変化領域を検出する方法は特に限定されない。前景領域検出部121は、既存の技術を用いて変化領域を検出してもよい。前景領域検出部121は、例えば、背景差分法を用いて変化領域を検出してもよい。前景領域検出部121は、検出された変化領域の画素値を255、それ以外の画素値を0で表した2値画像を生成してもよい。
ここで、前景領域検出部121の動作の一例について、図5を参照してより具体的に説明する。図5は、前景領域検出部121の動作例を示す説明図である。図5(a)は撮像画像の一例を示し、図5(b)は第1記憶部130に格納された撮像画像に対応する背景情報131の一例を示す。また、図5(c)は、変化領域の検出結果である2値画像の一例を示す。
図5(a)および図5(b)を参照すると、撮像画像と背景情報131とでは、商品G1、商品G2、商品G3の3つの領域に差異がある。例えば、図5(a)および図5(b)に示す例の場合、商品G1は、背景情報131には含まれないが、撮像画像には含まれる。また、商品G3は、背景情報131には含まれるが、撮像画像には含まれない。また、撮像画像に含まれる商品G2の位置には、背景情報131上では他の商品が陳列されている。したがって、前景領域検出部121は、商品G2の領域も変化があった領域として検出する。このような場合、前景領域検出部121は、例えば、図5(c)に例示するような、商品G1、商品G2および商品G3の領域に相当する部分を白で表現し、その他の部分を黒で表現した2値画像を生成する。
なお、以降の説明において、変化領域とは、図5(c)に例示する白色の各部分を示す。つまり、変化領域とは、例えば、画素値が255の画素であり、且つ、その画素に隣接する画素の何れかの画素値が255の画素の集合である。図5(c)に示す例では、前景領域検出部121は、3つの変化領域を検出する。
上述したように、前景領域検出部121は、例えば、撮像画像と同じサイズの2値画像を生成する。また、前景領域検出部121は、検出結果である2値画像に、その2値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部121は、2値画像に、2値画像の生成に用いた撮像画像を示す情報や背景情報131を示す情報などを関連付けてもよい。そして、前景領域検出部121は、撮像画像の撮像時刻などが関連付けられた検出結果を、背景情報更新部122と、前景領域追跡部123とに供給する。また、前景領域検出部121は、撮像画像の撮像時刻が関連付けられた検出結果を、前景情報133として第1記憶部130に格納する。
なお、前景領域検出部121による検出結果は、検出した変化領域を示す情報を含んでいればよい。前景領域検出部121は、例えば、検出した変化領域(画素値が255の領域)の位置を表す情報とその大きさとを変化領域の検出に用いた撮像画像を示す情報および背景画像を示す情報に関連付け、検出結果として出力してもよい。このように、前景領域検出部121が出力する検出結果は、どのような形式であってもよい。
また、前景領域検出部121は、検出結果である2値画像に、撮像画像の撮像時刻を関連付けるとともに、撮像画像から抽出した変化領域に含まれる色情報を関連付けてもよい。前景領域検出部121は、変化領域の色情報の代わりに、変化領域の画像を検出結果に関連付けてもよい。このように、前景領域検出部121は、撮像時刻以外の情報も検出結果に関連付けてよい。
また、図5(c)に例示するように、前景領域検出部121が生成する2値画像には、複数の変化領域が含まれる場合がある。このような場合、前景領域検出部121は、変化領域ごとの2値画像を生成してもよい。前景領域検出部121が変化領域ごとに2値画像を生成する方法については、前景領域検出部121の変形例として、後述される。
前景領域追跡部123は、前景領域検出部121が検出した変化領域を複数の撮像画像の間で追跡する。前景領域追跡部123は、追跡した結果に応じて、2値画像を第1抽出部124および第2抽出部125に供給したり、人物領域を抽出したりする。また、前景領域追跡部123は、背景情報131の更新を示す更新信号を背景情報更新部122に供給する。
前景領域追跡部123は、例えば、前景領域検出部121から供給された検出結果(2値画像)を受け取る。また、前景領域追跡部123は、検出結果である2値画像に関連付けられた、その2値画像に関連する撮像画像の撮像時刻よりも前に撮像された撮像画像から生成された2値画像である前景情報133を第1記憶部130から取得する。そして、前景領域追跡部123は、各2値画像によって表される各変化領域を対応付ける処理を行うことにより、その変化領域を追跡する。
前景領域追跡部123は、様々な方法を用いて変化領域を追跡できる。前景領域追跡部123は、例えば、前景領域検出部121から供給された2値画像と、第1記憶部130から取得した前景情報133とによって表される変化領域の、面積、形状および外接矩形のアスペクト比の少なくとも1つに基づいて、類似度を算出する。そして、前景領域追跡部123は、算出した類似度が最も高くなる変化領域同士を対応付けることで、変化領域を追跡する。また、色情報を検出結果に関連付ける構成の場合、前景領域追跡部123は、その色情報を用いて追跡を行ってもよい。前景領域追跡部123は、検出結果に関連付けられた変化領域の画像に基づいて追跡を行ってもよい。
前景領域追跡部123は、追跡した結果が所定の時間以上であるか、または、変化領域の移動量が所定の閾値以上であるかを確認する。なお、前景領域追跡部123が確認に用いる所定の時間および所定の閾値の値は任意である。
変化領域の移動量が所定の閾値未満であり、追跡した結果が所定の時間以上である場合、前景領域追跡部123は、前景領域検出部121から供給された検出結果である2値画像を第1抽出部124および第2抽出部125に供給する。このとき、前景領域追跡部123は、例えば、2値画像に、2値画像の生成に用いた撮像画像を示す情報および背景情報131を示す情報を付与して、その2値画像を第1抽出部124および第2抽出部125に供給する。前景領域追跡部123は、例えば、2値画像と共に、対応する撮像画像および背景情報131を第1抽出部124および第2抽出部125に供給してもよい。また、2値画像に複数の変化領域が含まれ、変化領域の何れかが所定の時間以上追跡されていない場合、前景領域追跡部123は、所定の時間以上追跡された変化領域を示す情報と共に、2値画像を第1抽出部124および第2抽出部125に供給してもよい。
なお、2値画像に複数の変化領域が含まれる場合、前景領域追跡部123は、1つの2値画像に1つの変化領域が含まれるように複数の2値画像を生成してもよい。例えば、所定の時間以上追跡された変化領域のみが含まれる2値画像を第1抽出部124および第2抽出部125に供給し、所定の時間以上追跡されていない変化領域が含まれる2値画像を破棄してもよい。なお、前景領域追跡部123は、前景領域検出部121から変化領域ごとの2値画像を検出結果として受け取ってもよい。
また、変化領域の移動量が所定の閾値以上である場合、前景領域追跡部123は、変化領域に含まれる物体が動体であると判定する。このように変化領域に含まれる物体が動体であると判定した場合、前景領域追跡部123は、その変化領域を第1抽出部124および第2抽出部125に供給することを抑制する。これにより、画像処理装置100は「商品棚3の前に人物が存在することによる変化」など、商品の増減に無関係な商品棚3に関する変化を削除できる。これにより、商品の陳列状態をより正確に監視することが可能になる。
なお、前景領域追跡部123は、変化領域に含まれる物体が動体であると判定した判定結果を、その変化領域に関連付けて第1抽出部124および第2抽出部125に供給してもよい。そして、領域変化分類部126は、変化領域に判定結果が関連付けられている場合、この変化領域における商品棚3に関する変化を、商品棚3に陳列された商品以外の変化に関連する種類に分類してもよい。例えば、領域変化分類部126は、変化領域における商品棚3に関する変化を、「商品棚3の前に人物が存在することによる変化」、「商品棚3の前に買い物カートがあることによる変化」等、商品以外の変化に関する種類に分類してもよい。
前景領域追跡部123は、撮像画像から動体と判定した変化領域を人物領域として抽出する。具体的には、前景領域追跡部123は、撮像画像と、その撮像画像と同じサイズである2値画像とを用いて、2値画像における画素値が255の領域に対応する撮像画像上の領域の画像を第1注目画像として抽出する。上述した通り、撮像画像はRGB画像である。そのため、抽出された人物領域も、RGB画像である。
なお、前景領域追跡部123は、動体と判定された変化領域ごとに、その変化領域と同じ形状の領域の人物領域を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域を人物領域として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、前景領域追跡部123は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域を人物領域として抽出してもよい。
次に、前景領域追跡部123は、抽出した人物領域に撮像装置2のID(カメラID)や、例えば抽出した人物領域ごとに付与する人物ID、撮像画像上の位置、撮像画像の撮像時刻などを関連付ける。そして、前景領域追跡部123は、関連付けた情報を人物情報134として第1記憶部に格納する。なお、撮像画像上の位置は、例えば、動体と判定された変化領域の外接矩形の四隅の座標値で表現されてもよいし、四隅の少なくとも1か所の座標値と外接矩形の幅および高さで表現されてもよい。
また、前景領域追跡部123は、背景情報131の更新を示す更新信号を背景情報更新部122に供給する。
前景領域追跡部123は、例えば、変化領域の追跡後、第1抽出部124および第2抽出部125に変化領域を示す検出結果を供給する場合に、値が1の更新信号を、変化領域を示す情報と共に背景情報更新部122供給する。値が1の更新信号は、背景情報131における変化領域に対応する部分の画像を更新することを示している。また、前景領域追跡部123は、第1抽出部124および第2抽出部125に検出結果を供給しない場合に、値が0の更新信号を、その変化領域を示す情報と共に背景情報更新部122に供給してもよい。値が0の更新信号は、背景情報131における変化領域に対応する部分の画像を更新しないことを示している。なお、第1抽出部124および第2抽出部125に検出結果を出力しない場合とは、例えば、追跡結果が所定の時間未満である場合、または、変化領域の移動量が所定の閾値以上である場合である。
なお、前景領域追跡部123は、上記例示した以外のタイミングで、背景情報131の更新を示す更新信号を背景情報更新部122に供給してもよい。前景領域追跡部123は、例えば、画像処理装置100の外部装置(図示せず)から送信される商品の購入情報や仕入情報、店員の作業情報等に基づいて、変化領域に含まれる商品が購入されたまたは補充された可能性が高いと判断される場合に、商品棚3の背景を更新するように値が1の更新信号を出力してもよい。前景領域追跡部123は、追跡の結果に含まれる追跡の時間等に基づいて、背景情報131の更新を示す更新信号を背景情報更新部122に供給してもよい。
背景情報更新部122は、第1取得部110から供給された撮像画像と、前景領域検出部121から供給された検出結果と、第1記憶部130に格納されている背景情報131であるRGB画像と、前景領域追跡部123から供給された更新信号とに基づいて背景情報131を更新する。背景情報更新部122が背景情報131を更新する方法は特に限定されない。背景情報更新部122は、例えば、非特許文献1と同様の方法を用いて背景情報131を更新してもよい。
なお、背景情報更新部122は、背景情報131によって示されるRGB画像のうち、例えば、前景領域検出部121から供給された検出結果によって示される変化領域に該当する部分の画像を更新しなくてもよい。背景情報更新部122は、例えば、上述した値が0の更新信号を前景領域追跡部123から受け取った場合、変化領域に対応する領域の背景情報を更新しない。
上述したように、前景領域追跡部123は、第1抽出部124および第2抽出部125に検出結果を出力しない場合、値が0の更新信号を背景情報更新部122に供給する。背景情報更新部122は、このように、追跡結果が第1の所定の条件を満たす場合に、値が0の更新信号を受け取り、変化領域に対応する領域の背景情報を更新しない。言い換えると、追跡結果が第1の所定の条件を満たす場合、背景情報更新部122は、背景情報131のうち、変化領域に対応する領域以外を更新する。これにより、第1取得部110が次に取得した撮像画像の、更新を行なわなかった領域に対応する領域が前景領域検出部121によって変化領域として検出されやすくなる。
また、背景情報更新部122は、例えば、前景領域追跡部123から供給された更新信号の値が1の場合に、背景情報131によって示されるRGB画像のうち、前景領域検出部121から供給された検出結果によって示される変化領域に該当する部分の画像を更新する。上述したように、前景領域追跡部123は、追跡結果が所定の時間以上である場合、追跡した変化領域を表す検出結果を第1抽出部124および第2抽出部125に供給するとともに、値が1の更新信号を背景情報更新部122に供給する。つまり、追跡結果が所定の時間以上追跡された結果であるという第2の所定の条件を満たす場合、背景情報更新部122は、前景領域追跡部123から値が1の更新信号を受け取り、背景情報131におけるその変化領域に該当する部分の画像を更新する。これにより、背景情報更新部122は、第1記憶部130に格納された背景情報131をその時点において第1取得部110が取得した撮像画像に近づけることができる。したがって、画像処理装置100は、上記変化領域に対応して次に第1取得部110が取得する撮像画像上の領域を、前景領域検出部121が変化領域として検出することを防ぐことができる。
第1抽出部124は、前景領域追跡部123から、検出結果である2値画像を受け取る。また、第1抽出部124は、2値画像の生成に用いた撮像画像を第1取得部110から取得する。なお、第1抽出部124は、撮像画像を2値画像と共に前景領域追跡部123から受け取ってもよい。
第1抽出部124は、撮像画像から変化領域の画像を抽出する。具体的には、第1抽出部124は、撮像画像と、その撮像画像と同じサイズである2値画像とを用いて、2値画像における画素値が255の領域に対応する撮像画像上の領域の画像を第1注目画像として抽出する。例えば、2値画像が図5(c)の場合、第1抽出部124は、撮像画像から3つの第1注目画像を抽出する。上述した通り、撮像画像はRGB画像であるため、抽出された第1注目画像も、RGB画像である。
なお、第1抽出部124は、変化領域ごとに、その変化領域と同じ形状の領域の第1注目画像を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域の画像を第1注目画像として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形など、どのような形状であってもよい。また、第1抽出部124は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域の画像を第1注目画像として抽出してもよい。
第1抽出部124は、抽出した第1注目画像を領域変化分類部126に供給する。なお、第1抽出部124が抽出した第1注目画像の撮像画像上における領域を第1注目領域とも呼ぶ。また、第1抽出部124は第1注目領域の位置情報を取得し、その位置情報と撮像時刻とを関連付けて、それらを第1関連性生成部140に供給する。なお、第1注目領域の位置情報は、例えば、第1注目領域の外接矩形の四隅の座標値でもよいし、四隅の少なくとも1か所の座標値と外接矩形の幅および高さで表現されてもよい。また、外接矩形が円形ならば、第1注目領域の位置情報は、例えば、円の中心座標と円の半径でもよい。また、外接矩形が楕円形ならば、第1注目領域の位置情報は、例えば、楕円の中心座標と楕円の長径と短径でもよい。
第2抽出部125は、前景領域追跡部123から、検出結果である2値画像を受け取る。また、第2抽出部125は、2値画像の生成に用いた背景情報131を第1記憶部130から取得する。なお、第2抽出部125は、背景情報131を2値画像と共に前景領域追跡部123から受け取ってもよい。
第2抽出部125は、背景情報131から変化領域の画像を抽出する。具体的には、第2抽出部125は、背景画像である背景情報131と2値画像とを用いて、2値画像における画素値が255の領域に対応する背景情報131上の領域の画像を第2注目画像として抽出する。第2注目画像の抽出方法は、第1注目画像の抽出方法と同様である。第2抽出部125は、抽出した第2注目画像を領域変化分類部126に供給する。なお、第2抽出部125が抽出した第2注目画像の背景情報131上における領域を第2注目領域とも呼ぶ。
領域変化分類部126は、変化領域における商品棚3に関する変化を分類し、分類結果を第1関連性生成部140に供給する。領域変化分類部126は、第1抽出部124および第2抽出部125から供給された、第1注目領域および第2注目領域と、第1記憶部130に格納された棚変化モデル132とに基づいて、背景画像上の検出された変化領域に対応する領域の画像の状態から、撮像画像上の変化領域に対応する領域の画像の状態への変化を分類する。
画像の状態とは、例えば、画像に商品が含まれるまたは含まれない状態、画像に顧客が含まれるまたは含まれない状態、画像に買い物かごが含まれるまたは含まれない状態、画像に買い物カートが含まれるまたは含まれない状態等、である。領域変化分類部126は、棚変化モデル132に基づいて、変化領域における商品棚3に関する変化を、例えば、「商品棚3に商品が含まれなくなったことによる変化」、「商品棚3に商品が新たに含まれたことによる変化」、「商品棚3に陳列された商品の見た目が変わったことによる変化」、「商品棚3の前に人物が存在することによる変化」、「商品棚3の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などの、変化の種類に分類する。なお、領域変化分類部126が変化領域における状態の変化を分類する種類は、一例であり、これらに限定されない。また、例えば、「商品棚3に陳列された商品の見た目が変わったことによる変化」は、「異なる商品になったことによる見た目の変化」なのか、「商品の姿勢が変わったことによる見た目の変化」なのか等、更に詳細に分類されてもよい。
より詳細に説明すると、領域変化分類部126は、第1抽出部124から第1注目画像を受け取る。また、領域変化分類部126は、第2抽出部125から第2注目画像を受け取る。そして、領域変化分類部126は、第1記憶部130に格納された棚変化モデル132に基づいて、第2注目画像の状態から、その第2注目画像に対応する第1注目画像の状態への変化を、例えば上述した種類に分類する。言い換えると、領域変化分類部126は、第2注目画像の状態から第1注目画像の状態への変化を、棚変化モデル132と比較した結果に基づいて分類する。
図6は、領域変化分類部126が出力する分類結果の例を示す説明図である。領域変化分類部126は、例えば、図6に例示する分類結果90を出力する。
図6に例示する通り、分類結果90は、例えば、第2注目画像91と、第1注目画像92と、変化の種類93とを含む。なお、図6に示す分類結果90は一例であり、分類結果90が図6に例示する情報以外の情報を含んでもよい。分類結果90は、例えば、撮像画像に関する情報(識別子、撮像時刻など)や第1注目画像92の撮像画像における位置を示す情報などを含んでもよい。
なお、領域変化分類部126は、例えば、棚変化モデル132を作成した機械学習法(Convolutional Neural Networkなど)を用いて、商品棚3に関する変化を上述した種類の何れかに分類してもよい。
以上が、第1変化検出部120の構成の一例である。
第1関連性生成部140は、第1変化検出部120から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第1関連性生成部140は、第1記憶部130から人物情報134を取得する。そして、第1関連性生成部140は、変化領域の位置情報に対応するその変化領域の撮像時刻と、人物情報134に紐づいたその人物の撮像時刻とに基づいて、その変化領域に対応する商品(商品の陳列状態の変化)と人物との関係を示す、商品と人物の関連性情報を生成する。その後、第1関連性生成部140は、生成した商品と人物の関連性情報を関連性統合部150に供給する。
具体的には、第1関連性生成部140は、例えば、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、その変化領域と交差した人物を抽出する。そして、第1関連性生成部140は、抽出された人物の中で最もその変化領域の撮像時刻に近い時刻で撮像された人物とその変化領域とを関連付ける。
図7は、第1関連性生成部140が生成する商品と人物との関連性情報の例を示す説明図である。図7には、撮像装置のIDを示すカメラIDと、その撮像装置に映った人物を示す人物IDと、商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。図7では、変化領域の位置情報は、変化領域の外接矩形の1つの隅の座標値と外接矩形の幅と高さで表現されている。また、変化の種類は、「商品棚3に商品が含まれなくなったことによる変化」を「商品減少」、「商品棚3に商品が新たに含まれたことによる変化」を「商品増加」として示されている。
なお、第1関連性生成部140は、例えば、生成した人物と商品の関連性情報と、第1記憶部130に格納されている人物情報134とを関連付けて、関連性統合部150に供給してもよい。また、第1関連性生成部140は、撮像画像に関する情報(識別子、撮像時刻など)を関連性情報に付与してもよい。
関連性統合部150は、第1関連性生成部140から商品と人物の関連性情報を受け取る。そして、関連性統合部150は、受け取った関連性情報に同一人物の関連性情報が存在する場合、それらを1つに統合する。その後、関連性統合部150は、統合した関連性情報を陳列検出部160に供給する。
関連性統合部150は、例えば、第1記憶部130の人物情報134に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも1つに基づいて、類似度を算出する。そして、関連性統合部150は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。上述したように、関連性統合部150は、同一人物と判定した関連性情報を統合する。
図8は、図7に例示した商品と人物との関連性情報を統合した例を示す説明図である。図8に示す例では、図7に例示する人物ID=1と人物ID=4の関連性情報が1つに統合されている。また、図7に例示する人物ID=2と人物ID=3の関連性情報も1つに統合されている。つまり、図8では、図7に例示する人物ID=1と人物ID=4の人物が同一人物であり、図7に例示する人物ID=2と人物ID=3の人物が同一人物である場合の一例を示している。
なお、図8に示す例では、統合の一例として、関連性情報を統合する際に、2つの人物IDを比較し、小さな値の人物IDを統合後の関連性情報の人物IDとして採用しているが、大きな値の人物IDを採用してもよい。また、例えば、関連性情報を統合した後に、人物IDを付与しなおしてもよい。また、後述する人物識別装置50が人物を識別する際に使用した人物IDが採用されてもよく、人物が携帯する端末10を識別する識別情報が採用されてもよい。
陳列検出部160は、関連性統合部150から統合した関連性情報を受け取り、関連性統合部150が統合した関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。陳列検出部160は、例えば、商品を取得した場所と商品を戻した場所を比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する。
以下、図8を参照して、陳列検出部160の動作を具体的に説明する。陳列検出部160は、人物IDごとに位置情報と変化の種類とを比較する。図7に示す例では、人物ID=1の人物が、カメラID=1の撮像装置に映る商品棚の(10,0)の場所から商品を取得し、(250,300)の場所に商品を戻している。また、取得した商品と戻した商品は、外接矩形の幅と高さがともに(30,50)であり、同一の商品と判断される。これより、陳列検出部160は、人物ID=1の人物が、商品を取得した棚と同じ棚ではあるが異なる場所に戻したことを検知する。なお、人物ID=2の人物は、同一の商品を取得した場所と同一の場所に戻している。そのため、陳列検出部160は、この行動を、商品が取られた場所とは異なる場所に戻されたとは検出しない。
このように、陳列検出部160は、例えば、同一人物が商品を異なる場所に戻したことを検知することで、商品が取られた場所とは異なる場所に戻されたことを検出する。なお、陳列検出部160は、例えば、同じ場所に戻したものの商品の見た目が変わっている場合などにも、商品が取られた場所とは異なる場所に戻されたことを検出する。なお、このように、陳列検出部160は、商品が取られた場所とは異なる場所に戻され、商品が再度配置されたことを検出することから、再配置検出手段ということができる。
以上が、画像処理装置100が有する各構成の一例である。
端末10は、顧客が携帯する装置であり、例えば、携帯端末やタブレット端末等により実現される。端末10は、顧客を識別する情報を記憶しており、後述する人物識別装置50が、端末10と顧客(人物)とを関連付ける際に利用される。端末10は、例えば、顧客を識別する情報を、ラベル(バーコードなど)として表示してもよく、近距離無線通信で送信してもよい。
また、端末10は、後述する通知部23からの通知に応じ、人が知覚できる態様(表示、振動、光、音声など)で、各種情報を顧客に通知する。なお、通知部23が通知する具体的な内容は後述される。
人物識別装置50は、人物を識別する装置である。なお、本実施形態では、人物識別装置50は、人物そのものの特性(例えば、性別、年齢、身長等)まで識別する必要はなく、他の人物と区別可能に識別できればよい。例えば、図8に示す例では、人物ID=1の人物と、ID=2の人物と、ID=5の人物がそれぞれ別人であると識別できればよい。人物識別装置50は、例えば、店舗に入口に設けられて、人物を識別する。
本実施形態では、人物識別装置50は、撮像画像に基づいて人物を識別する。人物識別装置50が人物を識別する方法は任意である。人物識別装置50は、例えば、入店した人物を撮像した画像から、上述する関連性統合部150が人物の類似度を算出する際に用いる情報(人物領域の色、面積、形状および外接矩形のアスペクト比、など)を取得してもよい。そして、人物識別装置50は、取得した情報を用いて人物を識別してもよい。
さらに、人物識別装置50は、識別した人物と、その人物が携帯する装置(端末10)とを関連付けてもよい。具体的には、人物識別装置50は、店舗の入口に設けられたセンサ(図示せず)で端末10を検知したときに人物を撮像し、撮像された画像で識別される人物と端末10の識別情報とを関連付けてもよい。この場合、人物識別装置50は、撮像装置およびセンサを含む装置により実現される。なお、この撮像装置とセンサとは別のハードウェアで実現されていてもよい。また、人物が携帯する装置は、携帯電話などのハードウェアに限定されず、例えば、ICカードのような媒体であってもよい。
具体的には、顧客が端末10にインストールされたアプリケーションプログラムを起動することで、顧客の識別情報を表示させ、顧客がその識別情報を人物識別装置50に識別させたときに、人物識別装置50が、人物と端末10とを関連付けてもよい。
図9は、買い物リスト管理装置20の構成例を示すブロック図である。買い物リスト管理装置20は、買い物リストを人物ごとに管理する。買い物リスト管理装置20は、買い物リスト生成部21と、買い物リスト更新部22と、通知部23と、買い物リスト記憶部24とを含む。
買い物リスト記憶部24は、人物ごとに買い物リストを記憶する。買い物リスト記憶部24は、例えば、上述する人物IDと対応付けて買い物リストを記憶してもよい。また、買い物リスト記憶部24は、上述する人物識別装置50が、人物を識別した際に付与する識別子と対応付けて買い物リストを記憶してもよい。また、人物と端末10とが対応付けられている場合、買い物リスト記憶部24は、人物および端末10を買い物リストと対応付けて記憶してもよい。
買い物リスト生成部21は、買い物リストを生成し、買い物リスト記憶部24に登録する。買い物リスト生成部21は、例えば、人物識別装置50が人物を識別したときに、その人物に対応する買い物リストを生成してもよい。また、買い物リスト生成部21は、例えば、人物識別装置50が人物と端末10とを関連付けたときに、その人物に対応する買い物リストを生成してもよい。この場合、買い物リストが人物の携帯する端末10と対応付けられるため、後述する通知部23が、買い物リストに生じた変化を、端末10に通知することが可能になる。
また、セルフレジシステム1が人物識別装置50を含まない場合(すなわち、端末10と買い物リストとが関連付けられていない場合)、買い物リスト生成部21は、第1関連性生成部140が人物と商品との関連性情報を生成したときに買い物リストを生成してもよい。この場合、買い物リスト生成部21は、関連性統合部150が関連性情報を統合したときに、買い物リストも統合すればよい。このように、買い物リストは、各人物に対応づけて管理される。
買い物リスト更新部22は、商品の陳列状態の変化に基づいて、買い物リスト記憶部24に記憶された買い物リストの内容を更新する。買い物リスト更新部22は、買い物リストの内容を更新するごとに端末10に買い物リストを送信してもよい。本実施形態では、商品の陳列状態が変化すると、商品棚の変化領域の位置情報と、その変化の分類が特定される。そこで、買い物リスト更新部22は、陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定する。
棚割り情報は、各店舗の商品棚に対して予め準備された商品の配置位置を表す情報である。棚割り情報は、例えば、商品棚番号(段)および列の番号と、その番号の位置に配置される商品名とを対応付けた情報である。また、撮像装置2が撮像する位置と商品棚の位置とは予め対応付けて管理される。そのため、撮像装置2が撮像する画像の商品棚の領域と棚割り情報とを対応付けることで、商品を特定することが可能になる。
図10は、棚割り情報の例を示す説明図である。図10に示す例では、画像I1は、撮像装置であるカメラID=1のカメラで撮像された画像であるとする。また、図10に例示する棚割り情報I2は、商品棚の段および列で特定される範囲に配置される商品を表す。例えば、画像I1に含まれる商品I3の位置情報が、図8に例示する関連性情報の1行目の位置情報(すなわち、位置情報(10,0,30,50))に一致するとする。この場合、買い物リスト更新部22は、商品I3を、棚割り情報I2の1段目の1列に対応付けられた商品aであると特定する。
関連性情報には、変化領域の分類結果が含まれる。すなわち、関連性情報から陳列状態の変化を特定することが可能である。そこで、買い物リスト更新部22は、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定する。そして、買い物リスト更新部22は、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う。人物が商品を手に取ったことに起因する陳列状態の変化は、上述する例では、「商品棚3に商品が含まれなくなったことによる変化」に対応し、変化の種類では、「商品減少」に対応する。
買い物リスト更新部22は、商品を買い物リストに登録するための登録処理として、人物に対応する買い物リストにその商品を登録する処理を行う。また、買い物リスト更新部22は、登録処理として、後述する通知部23に商品を登録した旨の情報を端末10に対して通知させてもよい。その際、通知部23は、正しい商品が買い物リストに追加されたか否かを端末10を介して顧客に問い合わせてもよい。
さらに、買い物リスト更新部22は、陳列検出部160による検出結果と棚割り情報に基づいて、戻された商品を人物に対応する買い物リストから削除するための削除処理を行う。なお、本実施形態では、商品が取られた場所とは異なる場所に戻されたことを陳列検出部160が検出した場合、買い物リスト更新部22は、この検出結果および棚割り情報に基づいて、その商品(取られた場所とは異なる場所に戻された商品)を人物に対応する買い物リストから削除するための削除処理を行う。
買い物リスト更新部22は、商品を買い物リストから削除するための削除処理として、人物に対応する買い物リストからその商品を削除する処理を行う。また、買い物リスト更新部22は、削除処理として、後述する通知部23に商品を削除した旨の情報を端末10に対して通知させてもよい。その際、通知部23は、正しい商品が買い物リストから削除されたか否かを端末10を介して顧客に問い合わせてもよい。
また、買い物リスト更新部22は、買い物リストからその商品をすぐには削除せず、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定してもよい。そして、買い物リスト更新部22は、後述する通知部23に削除フラグが設定された旨の情報を端末10に対して通知させてもよい。その際、同様に、通知部23は、削除フラグが設定された商品が削除すべき商品か否かを端末10を介して顧客に問い合わせてもよい。そして、買い物リスト更新部22は、通知した人物が携帯する端末10を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、その商品を削除する指示を受信した場合に、買い物リストからその商品を削除してもよい。
通知部23は、買い物リストの情報を端末10に通知する。上述するように、通知部23は、買い物リスト更新部22の処理に応じ、商品の登録および削除、並びに、削除フラグが設定された旨を端末10に通知してもよい。
また、通知部23は、買い物リストに削除フラグが設定されている商品が存在する場合、後述する決済装置40に、決済処理を停止する旨を通知してもよい。このような通知を行うことで、未承認の商品が決済されてしまうことを防止できる。
出力装置30は、買い物リストの内容を出力する。出力装置30は、例えば、後述する決済装置40の近傍に設置され、決済処理の際に買い物リストの内容を出力してもよい。なお、端末10に買い物リストの内容が出力可能な場合、セルフレジシステム1は、出力装置30を備えていなくてもよい。出力装置30は、例えば、ディスプレイなどの表示装置であってもよいし、POS(point of sales)端末であってもよい。また、出力装置30はこれらに限定されず、例えば、スピーカや携帯端末であってもよい。
決済装置40は、買い物リストの内容に基づいて決済処理を行う。例えば、買い物リストが端末10に関連付けられている場合、決済装置40は、買い物リストに関連付けられた端末10に合計金額を通知し、決済処理を行ってもよい。なお、決済装置40が個人の端末10を介して決済を行う方法は広く知られており、ここでは詳細な説明は省略する。
一方、買い物リストが端末10に関連付けられていない場合、決済装置40は、出力装置30に買い物リストの内容および合計金額を表示させ、顧客からの入金や、カード支払等の決済処理を受け付けてもよい。なお、入金やカード支払いに基づく決済方法も広く知られているため、ここでは詳細な説明は省略する。
また、決済装置40は、上述する通知部23より、決済処理を停止する旨の通知(具体的には、削除フラグが設定されている商品が残っている旨の通知)を受信した場合、その買い物リストに基づく決済処理を停止し、各種アラートを表示してもよい。決済装置40は、例えば、端末10に削除フラグが残っている旨の通知を行ってもよい。また、決済装置40は、例えば、出力装置30に削除フラグが設定されている商品を表示したり音声案内したりすることで、顧客に確認を促してもよい。
画像処理装置100(より具体的には、第1取得部110と、第1変化検出部120と、第1記憶部130と、第1関連性生成部140と、関連性統合部150と、陳列検出部160)は、プログラムに従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、画像処理装置100が備える記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、第1取得部110、第1変化検出部120、第1記憶部130、第1関連性生成部140、関連性統合部150および陳列検出部160として動作してもよい。
また、画像処理装置100に含まれる第1取得部110、第1変化検出部120、第1記憶部130、第1関連性生成部140、関連性統合部150および陳列検出部160は、それぞれが専用のハードウェアで実現されていてもよい。
また、買い物リスト管理装置20(より具体的には、買い物リスト生成部21と、買い物リスト更新部22と、通知部23)も、プログラムに従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、買い物リスト管理装置20が備える記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、買い物リスト生成部21、買い物リスト更新部22および通知部23として動作してもよい。また、買い物リスト管理装置20に含まれる買い物リスト生成部21、買い物リスト更新部22および通知部23は、それぞれが専用のハードウェアで実現されていてもよい。
次に、図11を参照して、本実施形態の画像処理装置100の動作を説明する。図11は、本実施形態の画像処理装置100の動作例を示すフローチャートである。
第1取得部110は、商品棚3を撮像した映像信号からRGB画像である撮像画像を取得する(ステップS1001)。第1取得部110は、取得した撮像画像を第1変化検出部120に供給する。
第1変化検出部120の前景領域検出部121は、第1取得部110から供給されたRGB画像である撮像画像と、第1記憶部130に格納されているRGB画像である背景情報131とを用いて、2つのRGB画像の間で変化した領域を変化領域(前景領域)として検出する(ステップS1002)。そして、前景領域検出部121は、変化領域の検出結果を背景情報更新部122と前景領域追跡部123に供給する。前景領域検出部121は、例えば、検出した変化領域の画素を255とし、その他の領域の画素を0とした2値画像を生成し、その2値画像を、変化領域の検出結果として背景情報更新部122と前景領域追跡部123に供給する。
また、前景領域検出部121は、第1記憶部130に前景情報133を格納する(ステップS1003)。上述した通り、前景情報133は、撮像時刻が関連付けられた検出結果である。
前景領域追跡部123は、前景領域検出部121から供給された検出結果と、前景情報133とに基づいて、変化領域を追跡する(ステップS1004)。前景領域追跡部123は、所定の時間以上追跡した変化領域を示す2値画像を、第1抽出部124と第2抽出部125に供給する。前景領域追跡部123は、背景情報131の更新を示す更新信号を背景情報更新部122に供給する。
なお、前景領域追跡部123は、追跡の結果、変化領域の移動量が所定の閾値以上である場合、変化領域に含まれる物体が動体であると判定して、判定した変化領域を人物領域として抽出する。その後、前景領域追跡部123は、人物領域に所定の情報を関連付けて人物情報134として第1記憶部に格納する。
背景情報更新部122は、第1取得部110から供給された撮像画像と、前景領域検出部121から供給された変化領域の検出結果と、背景情報131と、前景領域追跡部123から供給された更新信号とに基づいて、背景情報131を更新する(ステップS1005)。なお、ステップS1005は、ステップS1004以降の任意のタイミングで行われてもよい。
第1抽出部124は、第1取得部110から供給された撮像画像と、前景領域追跡部123から供給されたその撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域(第1注目領域)の画像を、第1注目画像として抽出する(ステップS1006)。第1抽出部124は、抽出した第1注目画像を領域変化分類部126に供給する。
第2抽出部125は、前景領域追跡部123から供給された検出結果と、第1記憶部130から取得した、その検出結果を得るために用いた背景情報131とに基づいて、第1抽出部124と同様の動作により、背景情報131から第2注目画像を抽出する(ステップS1007)。第2抽出部125は、抽出した第2注目画像を領域変化分類部126に供給する。なお、ステップS1006とステップS1007とは同時に行われてもよいし、逆順で行われてもよい。
領域変化分類部126は、第1抽出部124から供給された第1注目画像と、第2抽出部125から供給された第2注目画像と、第1記憶部130に格納された棚変化モデル132とに基づいて、商品棚3に関する変化を分類する(ステップS1008)。具体的には、商品棚3に関する変化は、第2注目画像における状態から第1注目画像における状態への変化である。
第1関連性生成部140は、第1変化検出部120の領域変化分類部126から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第1関連性生成部140は、第1記憶部130から人物情報134を取得する。そして、第1関連性生成部140は、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、その変化領域と交差した人物を抽出する。その後、第1関連性生成部140は、抽出された人物の中で最もその変化領域の撮像時刻に近い時刻で撮像された人物とその変化領域を関連付ける(ステップS1009)。これにより、第1関連性生成部140は、関連性情報を生成する。
関連性統合部150は、第1関連性生成部140から商品と人物の関連性情報を受け取り、同一人物の関連性情報が存在する場合、それらを1つに統合する。関連性統合部150は、例えば、第1記憶部130の人物情報134に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも1つに基づいて、類似度を算出する。そして、関連性統合部150は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。その後、関連性統合部150は、同一人物と判定した人物を含む関連性情報を1つに統合する(ステップS1010)。
陳列検出部160は、関連性統合部150から統合した関連性情報を受け取る。そして、陳列検出部160は、商品を取得した場所と商品を戻した場所とを比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する(ステップS1011)。また、陳列検出部160は、商品の見た目が変化した場合などに、商品が取られた場所とは異なる場所に戻されたことを検出する。
画像処理装置100は、第1取得部110が次の映像信号を受信したか否か(次の撮像画像があるか否か)を判定する(ステップS1012)。次の撮像画像がある場合(ステップS1012にてYES)、処理はステップS1001に移行する。一方、次の撮像画像がない場合(ステップS1012にてNO)、画像処理装置100は、動作を終了する。
次に、図12を参照して、本実施形態のセルフレジシステム1の動作を説明する。図12は、本実施形態のセルフレジシステム1の動作例を示すフローチャートである。まず、顧客(人物)が店舗に来店すると、人物識別装置50は、人物を識別し、その人物と端末10とを関連付ける(ステップS1101)。また、買い物リスト生成部21は、その人物に対応する買い物リストを生成する(ステップS1102)。顧客が入店後、撮像装置2は、撮像画像を取得する(ステップS1103)、画像処理装置100は、撮像画像に基づいて、商品の陳列状態の変化を検出する(ステップS1104)。
人物が商品を手に取ったことに起因する陳列状態の変化を画像処理装置100が検出すると(ステップS1105にてYES)、買い物リスト更新部22は、商品棚の棚割り情報に基づいて商品を特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う(ステップS1106)。一方、人物が商品を手に取ったことに起因する陳列状態の変化を画像処理装置100が検出していない場合(ステップS1105にてNO、ステップS1107の処理に進む。
一方、商品が取られた場所とは異なる場所に戻されたことを画像処理装置100が検出すると(ステップS1107にてYES)、買い物リスト更新部22は、その検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行う(ステップS1108)。なお、人物が商品を戻したことに起因する陳列状態の変化を画像処理装置100が検出した場合も、買い物リスト更新部22は、商品棚の棚割り情報に基づいて商品を特定し、特定された商品を人物に対応する買い物リストから削除する。一方、商品が取られた場所とは異なる場所に戻されたことが検出されなかった場合(ステップS1107にてNO)、ステップS1109の処理に進む。
決済装置40は、買い物リストの内容に基づいて決済処理を行う(ステップS1109)。
以上のように、本実施形態では、画像処理装置100(より詳しくは、第1変化検出部120)が、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する。また、画像処理装置100(より詳しくは、陳列検出部160)が、検出された商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。そして、買い物リスト管理装置20(より詳しくは、買い物リスト更新部22)が、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う。また、買い物リスト管理装置20(より詳しくは、買い物リスト更新部22)が、陳列検出部160による検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行う。そのため、商品が取られた場所とは異なる場所に戻された場合であっても、顧客が購入する商品を適切に管理できる。
なお、本実施形態では、商品が取られた場所とは異なる場所に戻されたことを画像処理装置100が検出すると、買い物リスト更新部22が、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除する方法について説明した。一方、商品レイアウトによっては、同じ商品が複数個所に配置されている場合も存在する。このような状況は、棚割り情報から把握することが可能である。そこで、陳列検出部160は、複数の場所に陳列されている同種の商品を棚割り情報に基づいて検出し、商品が取られた場所とは異なる場所に戻された場合でも、その場所が同種の商品が陳列されている場所である場合、同一の場所に戻されたと検出してもよい。
また、上述した通り、棚変化モデル132は、商品棚3に関する変化を表すモデルである。そのため、第1変化検出部120は、変化領域として検出された領域における商品棚3に関する変化を、商品が商品棚3から取られたことや商品が補充されたことなどの種類に分類してもよい。
したがって、本実施形態の画像処理装置100は、商品棚3の商品に変化があったことだけではなく、その変化がどのような種類の変化なのかを特定することができる。その結果、画像処理装置100は、商品が取られた状態であるのか、商品棚3が補充された状態であるのかなどの商品棚3の状態をより正確に判別することができる。
本実施形態で説明した画像処理装置100は、このような分類結果と人物検出結果から、人物ごとに、商品棚3に陳列された商品を取ったのか、商品棚3に商品を戻したのか、などを判別することが可能である。その結果、画像処理装置100は、上述するように、商品が取られた場所とは異なる場所に戻されたことを検出できる。例えば、冷蔵商品を常温棚に戻すなど、商品が取られた場所とは異なる場所に戻されると、販売機会損失や商品廃棄ロスなどが発生し店舗の売上に大きな影響を及ぼす。そのため、このような事態が発生した場合には、それを解消するための商品管理作業を速やかに実施することが好ましい。本実施形態の画像処理装置100を用いることで、商品が取られた場所とは異なる場所に戻されることによる販売機会損失や商品廃棄ロスなどの発生を低減させることができる。
なお、本実施形態において、撮像装置2が商品棚3を撮像する場合について説明した。ただし、撮像装置2が撮像する対象は、商品棚3に限定されない。撮像装置2は、例えば、ワゴンに積層された商品を撮像してもよい。すなわち、撮像装置2が撮像する撮像画像は、ワゴンに積層された商品を撮像した撮像画像であってもよい。画像処理装置100は、ワゴンに積層された商品を撮像した撮像画像と、背景画像とを比較して、変化領域を検出してもよい。以上のように、画像処理装置100は、商品のフェイスが全て見えるように陳列された商品棚に限定されず、様々な陳列方法で陳列された商品を撮像した撮像画像を用いることができる。
[第2の実施形態]
次に、本発明の第2の実施形態を説明する。第2の実施形態では、複数台の撮像装置2で異なる商品棚3を監視するセルフレジシステム1を説明する。後述するように、本実施形態における画像処理装置200は、異なる商品棚3の監視結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。すなわち、本実施形態で説明する画像処理装置200によると、商品を取得した商品棚3と商品を戻した商品棚3とが異なる場合でも、商品が取られた場所とは異なる場所に戻されたことを検出することができる。
本実施形態における画像処理装置200は、第1の実施形態で説明した図1に示す画像処理装置100と同様に、端末10、撮像装置2、買い物リスト管理装置20、出力装置30、決済装置40および人物識別装置50と通信可能に接続している。なお、本実施形態の端末10、撮像装置2、買い物リスト管理装置20、出力装置30、決済装置40および人物識別装置50は、第1の実施形態と同様である。
図13は、画像処理装置200の構成例を示す説明図である。本実施形態の画像処理装置200は、第1取得部110と、第2取得部210と、第1変化検出部120と、第2変化検出部220と、第1記憶部130と、第2記憶部230と、第1関連性生成部140と、第2関連性生成部240と、関連性統合部250と、陳列検出部160とを含む。このように、本実施形態の画像処理装置200は、画像処理装置100が有する関連性統合部150に代えて、関連性統合部250を含む。さらに、画像処理装置200は、画像処理装置100が有する構成に加えて、第2取得部210と、第2変化検出部220と、第2記憶部230と、第2関連性生成部240とを含む。
なお、上記では、前述した第1の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。
第2取得部210は、第1取得部110と同様の動作によりRGB画像を取得する。そして、第2取得部210は、第2変化検出部220にRGB画像を供給する。例えば、第2取得部210は、第1取得部110が取得する映像信号の送信元である撮像装置2とは異なる商品棚3を監視する撮像装置2から映像信号を取得する。
第2記憶部230は、第1記憶部130と同様の構成である。そのため、詳細な説明は省略する。なお、第2記憶部230は、第1記憶部130と同一の記憶装置であっても構わないし、異なる記憶装置であっても構わない。
第2変化検出部220は、第1変化検出部120と同様の構成である。第2変化検出部220は、第1変化検出部120と同様の動作により、商品棚3に関する変化領域を検出する。そして、第2変化検出部220は、検出した変化領域と、事前に学習した商品棚3に関する変化のモデルである棚変化モデル132とに基づいて、変化領域における商品棚3に関する変化を分類する。その後、第2変化検出部220は、第1注目領域の位置情報と撮像時刻を関連付けて、第2関連性生成部240に供給する。また、第2変化検出部220は、変化領域における商品棚3に関する変化を分類した結果を第2関連性生成部240に供給する。
第2関連性生成部240は、第1関連性生成部140と同様の構成である。第2関連性生成部240は、第1関連性生成部と同様の動作により、商品と人物の関連性情報を生成する。そして、第2関連性生成部240は、生成した関連性情報を関連性統合部250に供給する。
図14は、第1関連性生成部140と第2関連性生成部240が生成する商品と人物の関連性情報の例を示す説明図である。図14には、図7と同様に、撮像装置のIDを示すカメラIDと、その撮像装置に映った人物を示す人物IDと、商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。図14に示す例では、人物ID=1および人物ID=2の人物が、カメラID=1の撮像装置で撮像されたこと、人物ID=3および人物ID=4の人物が、カメラID=2の撮像装置で撮像されたことを示している。なお、図14で示す例では、例えば、カメラID=1の情報が第1関連性生成部140で生成された情報であり、カメラID=2の情報が第2関連性生成部240で生成された情報である。
関連性統合部250は、第1関連性生成部140および第2関連性生成部240から、それぞれ商品と人物の関連性情報を受け取り、同一人物の関連性情報が存在する場合、それらを1つに統合する。そして、関連性統合部250は、統合した関連性情報を陳列検出部160に供給する。関連性統合部250は、例えば、関連性統合部150と同様の動作により複数の関連性情報を統合する。
図15は、関連性統合部250が図14に例示した商品と人物の関連性情報を統合した例を示す説明図である。図15に示す例では、図14の人物ID=1と人物ID=3の関連性情報が1つに統合されている。
陳列検出部160は、関連性統合部250から統合した関連性情報を受け取り、商品を取得した場所と商品を戻した場所を比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する。
陳列検出部160の動作は、第1の実施形態と同様である。例えば、陳列検出部160は、人物IDごとに位置情報と変化の種類を比較する。具体的には、図15に示す例では、人物ID=1の人物が、カメラID=1の撮像装置に映る商品棚の(10,0,30,50)の場所から商品を取得し、カメラID=2の撮像装置に映る商品棚の(100,250,50,70)の場所に商品を戻している。これより、陳列検出部160は、人物ID=1の人物が、商品を取得した棚とは別の棚に商品を戻したことを検知する。
以上が、画像処理装置200に特徴的な構成の一例である。
次に、図16を参照して、本実施形態の画像処理装置200の動作を説明する。図16は、本実施形態の画像処理装置200の動作例を示すフローチャートである。
図16を参照すると、画像処理装置200が図11に例示するステップS1001からステップS1009までの処理と同様の処理を行うことにより、第1関連性生成部140が関連性を生成する(ステップS2001)。同様に、ステップS1001からステップS1009までの処理と同様の処理を行うことにより、第2関連性生成部240が関連性を生成する(ステップS2002)。なお、ステップS2001の処理とステップS2002の処理とは、並列で行われてもよいし、どちらかが先に行われてもよい。
関連性統合部250は、第1関連性生成部140と第2関連性生成部240から、それぞれ商品と人物の関連性情報を受け取る。そして、関連性統合部250は、同一の撮像装置2、または、複数の撮像装置2の間で、同一人物の商品と人物の関連性情報が存在する場合、それらを1つに統合する(ステップS2003)。なお、関連性統合部250は、例えば、関連性統合部150と同様の動作により、同一人物を判定する。
陳列検出部160は、関連性統合部150から受け取った関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する(ステップS2004)。画像処理装置200は、第1取得部110、又は、第2取得部210が次の映像信号を受信したか否か(次の撮像画像があるか否か)を判定する(ステップS2005)。次の撮像画像がある場合(ステップS2005にてYES)、処理はステップS2001、ステップS2002に移行する。一方、次の撮像画像がない場合(ステップS2005にてNO)、画像処理装置200は、動作を終了する。
なお、ステップS2004、ステップS2005の処理は、第1の実施形態で説明した図11のステップS1011、ステップS1012の処理と同様の処理である。
以上のように、本実施形態の画像処理装置200は、第1関連性生成部140と、第2関連性生成部240とを含む。また、関連性統合部250は、第1関連性生成部140が生成した関連性情報と第2関連性生成部が生成した関連性情報とを統合する。つまり、関連性統合部250は、複数台の撮像装置2で撮像された異なる商品棚3に関する、商品と人物の関連性情報を統合する。その結果、第1の実施形態と同様の効果が得られるだけでなく、画像処理装置200は、客が商品を取得した棚と商品を戻した棚が異なる場合でも、商品が取られた場所とは異なる場所に戻されたことを検出できる。これにより、第1の実施形態よりも店舗内の広範囲に渡って商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
なお、第2の実施形態では、画像処理装置200が、第1取得部110と第1変化検出部120と第1記憶部130と第1関連性生成部140とを含む第1の処理部と、第2取得部210と第2変化検出部220と第2記憶部230と第2関連性生成部240とを含む第2の処理部とを有する場合について説明した。つまり、第2の実施形態では、画像処理装置200が各種処理部を2つ有する場合について説明した。ただし、画像処理装置200が有する各種処理部の数は、2つに限定されない。画像処理装置200は、例えば、3つ以上の任意の数の各種処理部を有してもよい。言い換えると、画像処理装置200は、3つ以上の複数の異なる商品棚3を監視する撮像装置2から送信された撮像画像を処理するよう構成されていてもよい。
[第3の実施形態]
次に、本発明の第3の実施形態を説明する。第3の実施形態では、第1の実施形態で説明した画像処理装置100が有する構成に加えて、顧客の動線データを生成するための構成を有する画像処理装置300について説明する。後述するように、画像処理装置300は、生成した動線データを用いて関連性情報を生成する。これにより、より高精度に、商品が取られた場所とは異なる場所に戻されたことを検出することが可能となる。
図17は、本発明によるセルフレジシステムの第3の実施形態の構成例を示す説明図である。本実施形態のセルフレジシステム4は、商品棚3を撮像する撮像装置2に加えて、一般的な監視カメラと同様に店舗内の通路を撮像する撮像装置5を備えている。また、撮像装置5は、撮像装置2と同様に、ネットワークNを介して端末10、買い物リスト管理装置20、出力装置30、決済装置40、人物識別装置50および画像処理装置300と通信可能に接続されている。なお、本実施形態の端末10、撮像装置2、買い物リスト管理装置20、出力装置30、決済装置40および人物識別装置50も、第1の実施形態と同様である。
撮像装置5は、例えば、店舗などに設置されている監視カメラである。撮像装置5は、例えば、店舗内の各通路を撮像可能な位置に設置されている。撮像装置5の構成は、撮像装置2と同様でもよい。
なお、セルフレジシステム4は、撮像装置5を1つ有してもよいし、複数有してもよい。つまり、セルフレジシステム4は、1台の撮像装置5により店舗内の各通路を撮像してもよいし、複数台の撮像装置5により店舗内の各通路を撮像してもよい。また、本実施形態では、セルフレジシステム4が撮像装置2と別の撮像装置5を有する場合について説明する。ただし、セルフレジシステム4は、例えば、複数の撮像装置2が撮像した撮像画像に基づいて顧客の動線データを取得してもよい。つまり、セルフレジシステム4は、商品棚3を撮像する複数の撮像装置2が撮像した撮像画像に基づいて顧客の動線データを取得してもよい。
画像処理装置300は、撮像装置5が撮影したRGB画像から顧客の店舗内での移動経路を示す動線データを生成する。そして、画像処理装置300は、生成した動線データと商品棚3の変化領域とに基づいて、商品と人物の関連性情報を生成する。
図18は、画像処理装置300の構成例を示すブロック図である。図18に示す通り、本実施形態の画像処理装置300は、第1取得部110と、第1変化検出部120と、第1記憶部130と、第1関連性生成部340と、第3取得部310と、動線データ生成部320と、関連性統合部150と、陳列検出部160とを含む。このように、本実施形態の画像処理装置300は、画像処理装置100の第1関連性生成部140に代えて、第1関連性生成部340を含む。さらに、画像処理装置300は、画像処理装置100が有する構成に加えて、第3取得部310と、動線データ生成部320とを含む。
なお、上記では、前述した第1の実施形態、第2の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。
第3取得部310は、第1取得部110と同様の動作により、撮像装置5からRGB画像を取得し、動線データ生成部320にRGB画像を供給する。なお、第3取得部310が取得するRGB画像は、一般的な監視カメラと同様に店舗の通路を撮像した画像である。
動線データ生成部320は、少なくとも1つの撮像装置5で撮像されたRGB画像を用いて、店舗内における人物の動線データを生成する。動線データ生成部320が生成する動線データは、例えば、顧客を識別する人物IDと、顧客が訪問した商品棚3の識別子である商品棚IDと、を含む情報である。動線データ生成部320が動線データを生成する方法は特に限定されない。動線データ生成部320は、例えば、特許文献2に記載の方法を用いて動線データを生成してもよい。つまり、動線データ生成部320は、例えば、人物の顔認識を行って同一のデータが得られる人物を同一人物として検出したり、服装などの顧客の特徴を示す情報を抽出して同一人物を検出したりすることで、撮像画像中の顧客を識別する。また、動線データ生成部320は、顧客が商品棚3の前に一定時間留まった、顧客と商品棚3との間の距離が所定距離以下になった、などの方法により、顧客が商品棚3を訪問したと判断する。そして、動線データ生成部320は、顧客を識別するための人物IDと顧客が訪れた商品棚IDとを対応付けることで動線データを生成する。なお、動線データ生成部320は、上記例示した以外の方法を用いて動線データを生成してもよい。
図19は、動線データ生成部320が生成する動線データの例を示す説明図である。図19に示す動線データは、人物を示す人物IDと、その人物が訪れた商品棚を示す商品棚IDと、その商品棚を撮像している撮像装置を示すカメラIDとを含む。図19に示す例では、3人の人物が商品棚Aを訪れたことを示し、人物ID=1の人物と人物ID=2の人物が2回商品棚Aを訪れたことを示す。なお、図19に示す例では、人物が商品棚を訪問した時刻は明示されていないが、動線データは、その各商品棚に訪問した時刻を含んでいてもよい。図19に示す例では、上の行から順番に古い順に商品棚Aを訪問していることを示す。
動線データ生成部320は、例えば、図19で示すような動線データを生成する。そして、動線データ生成部320は、生成した動線データとその動線データの撮像画像の時刻とを関連付けて、第1関連性生成部340に供給する。言い換えると、動線データ生成部320は、動線データ中の各人物が各商品棚を訪問した時間を動線データに含めて第1関連性生成部340に供給する。
第1関連性生成部340は、第1変化検出部120から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第1関連性生成部340は、動線データ生成部320から動線データを取得する。そして、第1関連性生成部340は、変化領域の位置情報に紐づいた変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいてその変化領域に対応する商品と人物の関連性情報を生成する。その後、第1関連性生成部340は、生成した商品と人物の関連性情報を関連性統合部150に供給する。
具体的には、第1関連性生成部340は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最もその変化領域の撮像時刻に近い時刻に商品棚に訪れた人物とその変化領域を関連付ける。
図20は、第1関連性生成部340が生成する商品と人物の関連性情報の例を示す説明図である。図20には、撮像装置のIDを示すカメラIDと、その撮像装置に映った人物を示す人物IDと、商品棚を示す商品棚IDと、その商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。
このように、第1関連性生成部340は、人物情報134の代わりに動線データを用いることで関連性情報を生成する。なお、第1関連性生成部340は、関連性情報を生成する際に人物情報134も用いてもよい。
関連性統合部150は、第1関連性生成部340から商品と人物の関連性を受け取り、同一人物の関連性が存在する場合、それらを1つに統合する。そして、関連性統合部150は、統合した関連性を陳列検出部160に供給する。
具体的には、関連性統合部150は、人物IDに基づいて同一人物の関連性を統合する。図21は、図20に例示した商品と人物の関連性を統合した例を示す説明図である。図21に示す例では、図20の人物ID=1の人物の関連性情報が1つに統合され、人物ID=2の人物の関連性情報も1つに統合されている。
陳列検出部160の動作は、第1の実施形態や第2の実施形態で説明したものと同様である。そのため、説明は省略する。
以上が、画像処理装置300に特徴的な構成の一例である。
次に、図22を参照して、本実施形態の画像処理装置300の動作を説明する。図22は、本実施形態の画像処理装置300の動作例を示すフローチャートである。
図22を参照すると、画像処理装置300が図11で示すステップS1001からステップS1008までの処理と同様の処理を行うことにより、領域変化分類部126は、変化を分類する(ステップS3001)。
第3取得部310は、店舗の通路を撮像した撮像装置5から送信された映像信号からRGB画像である撮像画像(第3撮像画像)を取得する(ステップS3002)。第3取得部310は取得した撮像画像を動線データ生成部320に供給する。
動線データ生成部320は、少なくとも1つの撮像装置で撮像されたRGB画像を用いて、店舗内における人物の動線データを生成する(ステップS3003)。そして、動線データ生成部320は、生成した動線データとその動線データの撮像画像の時刻を関連付けて第1関連性生成部340に供給する。
なお、ステップS3002、ステップS3003の処理は、ステップS3001の処理と実行順序が入れ替えられてもよいし、同時に実行されてもよい。
第1関連性生成部340は、第1変化検出部120から変化領域の分類結果とその変化領域の位置情報とを受け取る。また、第1関連性生成部340は、動線データ生成部320から動線データを取得する。そして、第1関連性生成部340は、変化領域の位置情報に紐づいたその変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいてその変化領域に対応する商品と人物の関連性情報を生成する(ステップS3004)。具体的には、第1関連性生成部340は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最もその変化領域の撮像時刻に近い時刻に商品棚に訪れた人物とその変化領域を関連付ける。そして、第1関連性生成部340は、生成した商品と人物の関連性情報を関連性統合部150に供給する。
その後、画像処理装置300は、図11で示すステップS1010からステップS1012までと同様の処理であるステップS3005からステップS3007までの処理を行う。
以上のように、本実施形態の画像処理装置300は、第3取得部310と動線データ生成部320とを含む。このような構成により、動線データ生成部320は、第3取得部310から供給されたRGB画像に基づいて、動線データを生成する。そして、画像処理装置300は、商品棚3を撮像したRGB画像から検出した変化領域およびその変化領域を分類した分類結果と、店舗の通路を撮像したRGB画像から生成した動線データとに基づいて、商品と人物の関連性情報を生成する。撮像装置5により撮像される、動線データの生成に用いられる店舗の通路を撮像した撮像画像では、人物の全身が撮像されている。そのため、商品棚3を撮像したRGB画像よりも撮像画像中の人物の特定が容易となる。つまり、画像処理装置300のように、動線データを用いて関連性情報を生成すると、人物情報134を用いて関連性情報を生成する場合よりも高精度に関連性情報を生成することが期待できる。したがって、本実施形態の画像処理装置300は、第1の実施形態の画像処理装置100よりも高精度に関連性情報を統合できる。これにより、商品が取られた場所とは異なる場所に戻されたことを検出する精度が向上するため、画像処理装置300を用いることで、画像処理装置100よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
次に、第3の実施形態の変形例を説明する。第3の実施形態では、撮像装置5が店舗内の通路を撮像して顧客の動線データを生成した。ただし、動線データを生成する方法は、画像を用いる方法に限定されない。図23は、第3の実施形態のセルフレジシステムの変形例を示すブロック図である。図23に例示するセルフレジシステム4aは、第3の実施形態のセルフレジシステム4が備える撮像装置5の代わりに、顧客の動線を検出する動線検出装置6を備えている。また、図23に例示するセルフレジシステム4aは、第3の実施形態のセルフレジシステム4が備える画像処理装置300の代わりに、画像処理装置300aを備えている。
動線検出装置6は、顧客が携帯する端末10の位置を検出する装置である。動線検出装置6は、例えば、端末10からの近距離無線を検出して、顧客の位置を検出する。例えば、人物識別装置50が店舗内の所定の場所(例えば、入口など)で端末10の認証を行うと、動線検出装置6は、その認証された人物を追尾して人物の動線を検出する。買い物リスト生成部21は、この認証が行われたタイミングで、認証された端末10を携帯する人物に対応する買い物リストを生成してもよい。
図24は、画像処理装置300aの構成例を示すブロック図である。図24に示す通り、本実施形態の画像処理装置300aは、第1取得部110と、第1変化検出部120と、第1記憶部130と、第3取得部310aと、動線データ生成部320aと、第1関連性生成部340と、関連性統合部150と、陳列検出部160とを含む。このように、本変形例の画像処理装置300aは、画像処理装置300の第3取得部310および動線データ生成部320に代えて、第3取得部310aおよび動線データ生成部320aを含む。
第3取得部310aは、動線検出装置6から顧客の位置情報を取得する。顧客の位置情報には、例えば、端末10の識別情報が含まれる。動線データ生成部320aは、店舗内における人物の動線データを生成する。動線データ生成部320aが生成する動線データは、例えば、顧客が携帯する端末10の識別情報と、顧客が訪問した商品棚3の識別子である商品棚IDと、を含む情報である。なお、動線データ生成部320aが動線データを生成する方法は特に限定されない。第3の実施形態と同様、動線データ生成部320aは例えば、顧客が商品棚3の前に一定時間留まった、顧客と商品棚3との間の距離が所定距離以下になった、などの方法により、顧客が商品棚3を訪問したと判断する。そして、動線データ生成部320aは、顧客が携帯する端末10の識別情報と顧客が訪れた商品棚IDとを対応付けることで動線データを生成する。
図25は、動線データの他の例を示す説明図である。動線データ生成部320aは、例えば、図25で示すように、端末10の識別情報と商品棚IDとを対応付けた動線データを生成する。さらに、動線データ生成部320aは、生成した動線データとその動線データの取得時刻とを関連付けて、第1関連性生成部340に供給する。言い換えると、動線データ生成部320aは、動線データ中の各人物が各商品棚を訪問した時間を動線データに含めて第1関連性生成部340に供給する。以降の処理は、第3の実施形態と同様である。すなわち、本変形例では、陳列検出部160は、検出された商品の陳列状態の変化と、店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出することになる。
以上のように、本変形例では、動線検出装置6が検出した人物の位置情報に基づいて動線データを生成し、画像処理装置300a(より詳しくは、陳列検出部160)が、検出された商品の陳列状態の変化と、店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。よって、商品が取られた場所とは異なる場所に戻されたことを検出する精度を向上させることができるため、画像処理装置300aは、画像処理装置100よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
[第4の実施形態]
次に、本発明の第4の実施形態を説明する。第4の実施形態では、第2の実施形態で説明した画像処理装置200が有する構成に加えて、第3の実施形態で説明した、顧客の動線データを生成する構成を有する画像処理装置400を説明する。つまり、本実施形態では、第2の実施形態で説明した各構成と第3の実施形態で説明した各構成とを組み合わせた画像処理装置を説明する。
本実施形態の画像処理装置400は、第1の実施形態で説明した図1に示す画像処理装置100と同様に、端末10、撮像装置2、買い物リスト管理装置20、出力装置30、決済装置40および人物識別装置50と通信可能に接続している。
図26は、画像処理装置400の構成例を示す説明図である。本実施形態の画像処理装置400は、第1取得部110と、第2取得部210と、第1変化検出部120と、第2変化検出部220と、第1記憶部130と、第2記憶部230と、第1関連性生成部340と、第2関連性生成部440と、第3取得部310と、動線データ生成部320と、関連性統合部250と、陳列検出部160と含む。このように、本実施形態の画像処理装置400は、第2の実施形態で説明した画像処理装置200が含む構成を有するとともに、第3取得部310と動線データ生成部320とを備えている。言い換えると、本実施形態の画像処理装置400は、画像処理装置200の第1関連性生成部140に代えて第1関連性生成部340を含むとともに、第2関連性生成部240に代えて第2関連性生成部440を含む。さらに、画像処理装置400は、第3取得部310と動線データ生成部320とを含む。
なお、上記では、前述した第1の実施形態、第2の実施形態、第3の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。
第2関連性生成部440は、第2変化検出部220から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第2関連性生成部440は、動線データ生成部320から動線データを取得する。そして、第2関連性生成部440は、第1関連性生成部340と同様の動作により、商品と人物の関連性情報を生成し、生成した関連性情報を関連性統合部250に供給する。
このように、第2関連性生成部440は、第1関連性生成部340と同様に、動線データを用いて関連性情報を生成する。第1関連性生成部340と第2関連性生成部440が関連性情報を生成した後の処理は、第2の実施形態で説明した場合と同様である。そのため、詳細な説明は省略する。
以上が、画像処理装置400に特徴的な構成の一例である。
次に、図27を参照して、本実施形態の画像処理装置400の動作を説明する。図27は、本実施形態の画像処理装置400の動作例を示すフローチャートである。
図27を参照すると、画像処理装置400が図11で示すステップS1001からステップS1008までの処理と同様の処理を行うことにより、第1変化検出部120は、変化を分類する(ステップS4001)。また、同様に、第2変化検出部220は、変化を分類する(ステップS4002)。
第3取得部310は、店舗の通路を撮像した撮像装置5から送信された映像信号からRGB画像である撮像画像(第3撮像画像)を取得する(ステップS4003)。第3取得部310は取得した撮像画像を動線データ生成部320に供給する。
動線データ生成部320は、少なくとも1つの撮像装置で撮像されたRGB画像を用いて、店舗内における人物の動線データを生成する(ステップS4004)。そして、動線データ生成部320は、生成した動線データとその動線データの撮像画像の時刻を関連付けて、それらを第1関連性生成部340に供給する。
なお、ステップS4003、ステップS4004の処理は、第3の実施形態で説明したステップS3002、ステップS3003の処理と同様の処理である。また、ステップS4003、ステップS4004の処理は、ステップS4001の処理やステップS4002の処理と実行順序が入れ替えられてもよいし、同時に実行されてもよい。
第1関連性生成部340は、動線データを用いて関連性情報を生成する(ステップS4005)。また、第2関連性生成部440は、動線データを用いて関連性情報を生成する(ステップS4006)。
なお、ステップS4005の処理とステップS4006の処理は、第3の実施形態で説明したステップS3004の処理と同様の処理である。また、ステップS4005の処理とステップS4006の処理は、どちらが先に実行されてもよいし、同時に実行されてもよい。
その後、画像処理装置400は、図11で示すステップS1010からステップS1012までと同様の処理であるステップS4007からステップS4009までの処理を行う。
以上のように、本実施形態の画像処理装置400は、第2の実施の形態の画像処理装置200の第2関連性生成部240に代えて、第2関連性生成部440を含む。さらに、画像処理装置400は、第3取得部310と動線データ生成部320とを含む。したがって、本実施形態の画像処理装置400は、上述した第2の実施形態の画像処理装置200と同様に、店舗内の広範囲に渡って商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。さらに、画像処理装置400は、上述した第3の実施形態の画像処理装置300と同様に、商品と人物の関連性情報を高精度に統合できる。関連性情報を高精度に統合できることにより、商品が取られた場所とは異なる場所に戻されたことを検出する精度が向上する。したがって、本実施形態における画像処理装置400を用いることで、画像処理装置200よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
[第5の実施形態]
次に、本発明の第5の実施形態を説明する。第5の実施形態では、第1の実施形態で説明した画像処理装置100が有する構成に加えて、報知部510を有する画像処理装置500を説明する。画像処理装置500が報知部510を有することで、例えば、陳列検出部160が、商品が取られた場所とは異なる場所に戻されたことを検出した際に、店舗の店員等に対する報知を行うことができる。
本実施形態の画像処理装置500は、第1の実施形態で説明した図1に示す画像処理装置100と同様に、端末10、撮像装置2、買い物リスト管理装置20、出力装置30、決済装置40および人物識別装置50と通信可能に接続している。
図28は、画像処理装置500の構成例を示す説明図である。本実施形態の画像処理装置500は、第1取得部110と、第1変化検出部120と、第1記憶部130と、第1関連性生成部140と、関連性統合部150と、陳列検出部160と、報知部510とを含む。このように、本実施形態の画像処理装置500は、第1の実施形態で説明した画像処理装置100が含む構成を有するとともに、報知部510を含む。
なお、上記では、前述した第1の実施形態、第2の実施形態、第3の実施形態、第4の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。
陳列検出部160は、関連性統合部150から統合した関連性情報を受け取り、商品を取得した場所と商品を戻した場所を比較することにより、商品が取られた場所とは異なる場所に戻されたことを検出する。陳列検出部160は、例えば、検出結果を示す信号を報知部510に供給する。検出結果を示す信号は、例えば、商品が取られた場所とは異なる場所に戻されたことを検出した場合に1、商品が取られた場所とは異なる場所に戻されたことを検出しなかった場合に0であってもよい。
報知部510は、陳列検出部160から検出結果を受け取る。そして、報知部510は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、例えば、店舗の作業員が保有している端末(図示せず)に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知する。また、報知部510は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、例えば、店舗のPOS(Point of sales)端末に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知してもよい。また、この場合、報知部510は、本部のコンピュータに、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知してもよい。さらに、報知部510は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、店舗または本部に設置された記憶媒体に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を格納してもよい。また、報知部510は、所定のランプ(図示せず)などに、商品が取られた場所とは異なる場所に戻されたことを検出したことを報知してもよい。
報知部510は、上記例示したいずれか、又は、複数を組み合わせた報知を行う。報知部510は、例えば、プログラムに従って動作するコンピュータのCPUによって実現される
以上が、画像処理装置500に特徴的な構成の一例である。
次に、図29を参照して、本実施形態の画像処理装置500の動作例を説明する。図29は、本実施形態の画像処理装置500の動作例を示すフローチャートである。
図29を参照すると、画像処理装置300が図11で示すステップS1001からステップS1011までの処理と同様の処理を行うことにより、陳列検出部160は、商品が取られた場所とは異なる場所に戻されたことを検出する(ステップS5001)。陳列検出部160は、例えば、検出結果を示す信号を報知部510に供給する。
ステップS5011終了後、報知部510は、陳列検出部160から検出結果を受け取る。受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合、報知部510は、店舗の作業員が保有する端末にその旨を報知する(ステップS5002)。
そして、画像処理装置500は、図11に示すステップS1012と同様の処理であるステップS5003を実行する。
以上のように、本実施形態の画像処理装置500は、画像処理装置100に報知部510を加えた構成を有している。このような構成により、商品が取られた場所とは異なる場所に戻された際に、その旨を店舗の作業員に速やかに報知することができる。これにより、商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
なお、報知部510は、店舗内の状況などが予め定められた所定の条件を満たす場合、報知を行うタイミングを保留するよう構成しても構わない。
報知部510は、例えば、店舗内における顧客の滞在状況に応じて、報知を保留するか否か判断するよう構成してもよい。報知部510は、例えば、撮像装置2などが取得した撮像画像に基づいて、レジに顧客が並んでいる(所定の数以上並んでいる)と判断できる間、報知を保留してもよい。また、報知部510は、例えば、撮像装置2などが取得した撮像画像に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出した作業対象の商品棚3の前に顧客がいると判断される間、報知を保留してもよい。また、画像処理装置500が動線データを取得できる場合、報知部510は、例えば、動線データに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出した作業対象の商品棚3の前に顧客が来ると判断される場合に、報知を保留してもよい。このように、報知部510は、店舗内に存在する顧客の数や顧客の場所などの顧客の滞在状況が所定の条件を満たす場合、報知を保留してもよい。なお、報知部510は、保留する理由が無い場合や無くなった場合に、報知を行えばよい。
また、報知部510は、商品が戻された商品棚3や、異なる場所に戻された商品の種類や性質、異なる場所に戻された商品と戻された商品棚3の関係などに基づいて報知の緊急性を判断し、報知の緊急性に基づいて報知するタイミングを制御してもよい。例えば、生鮮食品や冷凍食品、アイスなどを、非冷凍コーナーや非冷蔵コーナーに戻した場合、すぐに報知しないと影響が大きくなることが想定される。また、商品と商品が戻された商品棚3との関係が、例えば、洗剤などの非食品が生成食品のコーナーに戻された場合など好ましくない所定の場合、速やかに是正することが望ましい。このように、異なる場所に戻された商品の種類等に応じて報知に緊急性があると判断される場合、報知部510は、すぐに報知してもよい。つまり、上記のような報知に緊急性がある場合、例えば、上述した保留する条件を満たす場合でも、報知部510は、保留せずに報知する。一方、上記のような緊急性が無い場合、報知部510は、保留する条件を満たさなくなるまで報知を保留してもよい。このように、報知部510は、報知の緊急性を示す情報を取得して、取得した情報に基づいて報知のタイミングを制御してもよい。なお、生鮮食品や冷凍食品など、取られた場所とは異なる場所に戻された商品の種類や性質は、例えば、領域変化分類部126や第1抽出部124などが第1注目画像等に基づいて判断してもよい。商品の種類、性質について、例えば、陳列検出部160が、取られた場所とは異なる場所に商品が戻されたことを検出した後、関連性情報に付与された撮像画像に関する情報(識別子、撮像時刻など)から撮像画像を取得し、取得した撮像画像に基づいて判断してもよい。
以上のように、報知部510は、店舗内における顧客の滞在状況や商品の種類、性質等に応じて緊急性を判断し、報知の緊急性に応じて報知するタイミングを制御する。その際、報知部510は、上記例示した以外の情報に基づいて報知するタイミングを制御してもよい。
なお、本実施形態では、第1の実施形態で説明した画像処理装置100が報知部510を有する場合について説明した。ただし、画像処理装置100以外の上述した各画像処理部が報知部510を含んでいてもよい。例えば、第2の実施形態で説明した画像処理装置200、第3の実施形態で説明した画像処理装置300、第4の実施形態で説明した画像処理装置400が、報知部510を含んでいてもよい。画像処理装置200、画像処理装置300、画像処理装置400が報知部510を含む場合に報知部510が実行する処理は、画像処理装置100が含む場合と同様である。上記いずれの場合も、本実施形態で説明した各種変形例を採用することができる。
<前景領域検出部の変形例>
次に、上述した各実施形態の画像処理装置が有する第1変化検出部120または第2変化検出部220に含まれる前景領域検出部の処理の変形例を説明する。
本変形例において、第1変化検出部120または第2変化検出部220に含まれる前景領域検出部は、予め登録された棚領域情報を更に用いて、変化領域に含まれる対象物が商品棚3内の商品以外であることを特定する。
なお、本変形例では、第1の実施形態における画像処理装置100の前景領域検出部121の変形例について説明する。ただし、本変形例を、画像処理装置200、画像処理装置300、画像処理装置400、画像処理装置500、報知部510を有する画像処理装置100以外の装置のいずれに対しても適用可能である。
図30、図31および図32は、本変形例における前景領域検出部121が前景領域を検出する動作例を示す説明図である。
前景領域検出部121が、例えば、第1取得部110から供給された撮像画像と、背景情報131とを比較することにより変化領域を検出し、図30に例示する、変化領域を表す2値画像である検出結果71を生成したとする。この検出結果には、変化領域72、変化領域73、変化領域74の3つの変化領域が含まれるとする。このような場合、前景領域検出部121は、検出結果71に対して、一般的なラベリング方法で変化領域ごとに別々の2値画像である検出結果71A、検出結果71Bおよび検出結果71Cを生成する。
つまり、前景領域検出部121は、検出結果に複数の変化領域が含まれる場合、各変化領域が別々の2値画像に含まれるような複数の2値画像を生成する。
そして、前景領域検出部121は、予め登録された棚領域情報と、複数の2値画像のそれぞれとに基づいて、変化領域が商品の変化に関する変化を検出した領域か否かを判定する。ここで、棚領域情報は、商品棚3における商品が陳列される領域を示す。
セルフレジシステム1は、商品棚3の商品を監視している。そのため、棚領域情報によって示される、商品が陳列される領域を監視対象領域と言うことができる。また、棚領域情報を、監視領域情報と言うこともできる。棚領域情報は、例えば、第1取得部110が取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚3の監視対象領域の画素値を255、それ以外を0で表した2値画像であってもよい。また、棚領域情報に含まれる監視対象領域は、例えば、1つでもよいし複数でもよい。棚領域情報は、例えば、事前に第1記憶部130に格納されていてもよい。なお、棚領域情報は、第1取得部110が取得する撮像画像に含まれる商品棚3を特定する情報を含む。
前景領域検出部121は、第1取得部110が取得した撮像画像に含まれる商品棚3に関連する棚領域情報を用いて、対応する画素ごとに論理積の演算を行う。例えば、図31に例示する棚領域情報75を用いる場合、前景領域検出部121は、検出結果71A、検出結果71Bまたは検出結果71Cと、対応する画素ごとに論理積の演算を行う。図31に示す例では、棚領域情報75における監視対象領域は、白で表現されているため、棚領域情報75は、6つの監視対象領域を含む。
図32に例示する演算結果76Aは、棚領域情報75と検出結果71Aとの論理積演算の結果である。また、演算結果76Bは、棚領域情報75と検出結果71Bとの論理積の演算の結果である。また、演算結果76Cは、棚領域情報75と検出結果71Cとの論理積の演算の結果である。
人物やカートのような商品以外の物体は、複数の棚の領域にまたがっている。そのため、検出結果71Aと棚領域情報75との論理積の演算を行った結果、図32の左側に例示する演算結果76Aのように、変化領域を表す、画素値が255の部分(白色の部分)は、複数の領域に分割される。一方、演算結果76Bおよび演算結果76Cの変化領域を表す部分(白色の部分)は、それぞれ、検出結果71Bおよび検出結果71Cと変化がなく、一続きの領域(画素値が255の画素であり、且つ、その画素に隣接する画素の何れかの画素値が255の画素の集合)である。
商品棚3の陳列領域(監視対象領域)に陳列される商品は、複数の監視対象領域にまたがらない。したがって、演算結果76Aのように、変化領域が複数の領域に分割される場合、前景領域検出部121は、この変化領域に対する変化を、商品以外による変化であると判断する。このような場合、前景領域検出部121は、この変化を前景領域追跡部123に供給する検出結果に含めない。言い換えると、前景領域検出部121は、検出結果71Bと検出結果71Cとを、前景領域追跡部123に供給する。
このような構成により、前景領域追跡部123は、商品棚3に陳列された商品に対する変化を第1抽出部124および第2抽出部125に供給できる。言い換えると、領域変化分類部126は、商品棚3に陳列された商品に対する変化の分類処理を行うことができるため、商品以外の物体の影響によって、商品に対する変化の分類精度の低下を防ぐことができる。また、前景領域検出部121が、領域変化分類部126の分類処理を行うよりも前に、変化領域における変化が商品以外の物体による変化であると分類できるため、領域変化分類部126の処理量を低減させることができる。
次に、本発明の具体例を説明する。第一の具体例では、顧客が端末10を携帯する場合のセルフレジシステムの動作例を説明し、第二の具体例では、顧客が端末10を携帯しない場合のセルフレジシステムの動作例を説明する。
図33は、第一の具体例におけるセルフレジシステムの動作例を示す説明図である。まず、顧客Cが来店すると、人物識別装置50は、顧客が携帯する端末10を介して、人物を識別する(ステップS11)。以降、その端末10を識別する識別IDを用いて、人物が一意に管理される。また、買い物リスト生成手段(実施形態における買い物リスト生成部21)は、その識別IDに対応する買い物リストLを生成する(ステップS12)。通知部23は、生成した買い物リストLを端末10に送信する(ステップS13)。また、通知部23は、生成した買い物リストLを買い物リスト記憶部24に記憶する(ステップS14)。
その後、変化検出手段(実施形態における第1変化検出部120)が、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する(ステップS15)。買い物リスト生成手段(実施形態における買い物リスト更新部22)は、商品棚の棚割り情報に基づいてその商品を特定して、特定された商品を人物に対応する買い物リストLに登録するための登録処理を行う(ステップS16)。通知部23は、商品が登録された買い物リストLの内容を端末10に通知する(ステップS17)。
また、再配置検出手段(実施形態における陳列検出部160)は、変化検出手段が検出した商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する(ステップS18)。なお、動線の検出方法は任意であり、上述する撮像装置2が人物を検出する方法であってもよく、撮像装置5が動線を検出する方法であってもよく、動線検出装置6が動線を検出する方法であってもよい。そして、この場合、検出結果および棚割り情報に基づいて、買い物リスト生成手段(実施形態における買い物リスト更新部22)は、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストLから削除するための削除処理を行う(ステップS19)。通知部23は、商品が削除された買い物リストLの内容を端末10に通知する(ステップS20)。なお、通知部23は、その商品に削除フラグを設定した買い物リストLを端末10に通知してもよい。
顧客が退店しようとする際、決済装置40は、人物に対応した買い物リストLの内容に基づいて決済処理を行う(ステップS21)。このとき、出力装置30が、買い物リストLの内容を表示してもよい。
図34は、第二の具体例におけるセルフレジシステムの動作例を示す説明図である。まず、顧客が来店すると、人物識別装置50は、撮像装置2によって撮像された画像から人物Cを識別する(ステップS31)。以降、人物を識別する識別IDを用いて、人物が位置に識別される。また、買い物リスト生成手段(実施形態における買い物リスト生成部21)は、その識別IDに対応する買い物リストLを生成する(ステップS32)。また、通知部23は、生成した買い物リストLを買い物リスト記憶部24に記憶する(ステップS33)。
その後、第一の具体例と同様に、変化検出手段(実施形態における第1変化検出部120)が、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する(ステップS34)。買い物リスト生成手段(実施形態における買い物リスト更新部22)は、商品棚の棚割り情報に基づいてその商品を特定して、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う(ステップS35)。具体的には、買い物リスト生成手段は、買い物リスト記憶部24に記憶された買い物リストLに商品を追加する。
また、第一の具体例と同様に、買い物リスト生成手段(実施形態における買い物リスト更新部22)は、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストLから削除するための削除処理を行う(ステップS36)。具体的には、買い物リスト生成手段は、買い物リスト記憶部24に記憶された買い物リストLから商品を削除する。
顧客が退店しようとする際、決済装置40は、人物Cに対応した買い物リストLの内容に基づいて決済処理を行う(ステップS37)。具体的には、出力装置30が買い物リストの内容および合計金額を表示し、決済装置40は、その人物からの入金やカード支払いに基づく決済処理を行う。
<ハードウェア構成について>
上述する各実施形態では、各装置(より詳しくは、画像処理装置100~500、買い物リスト管理装置20)が有する構成要素は、例えば、機能単位のブロックを示す。各装置が有する構成要素の一部又は全部は、図35に例示する情報処理装置600とプログラムとの任意の組み合わせにより実現される。図35は、各装置の構成要素を実現する情報処理装置600のハードウェア構成例を示すブロック図である。情報処理装置600は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)601
・ROM(Read Only Memory)602
・RAM(Random Access Memory)603
・RAM603にロードされるプログラム群604
・プログラム群604を格納する記憶装置605
・情報処理装置600外部の記録媒体610の読み書きを行うドライブ装置606
・情報処理装置600外部の通信ネットワーク611と接続する通信インタフェース607
・データの入出力を行う入出力インタフェース608
・各構成要素を接続するバス609
上述した各実施形態における各装置が有する構成要素は、これらの機能を実現するプログラム群604をCPU601が取得して実行することで実現する。各装置が有する構成要素の機能を実現するプログラム群604は、例えば、予め記憶装置605やROM602に格納されており、必要に応じてCPU601がRAM603にロードして実行する。なお、プログラム群604は、通信ネットワーク611を介してCPU601に供給されてもよいし、予め記録媒体610に格納されており、ドライブ装置606が該プログラムを読み出してCPU601に供給してもよい。
なお、各装置の実現方法には、様々な変形例が存在する。各装置は、例えば、構成要素ごとにそれぞれ別個の情報処理装置600とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置600とプログラムとの任意の組み合わせにより実現されてもよい。
また、各画像処理装置が有する各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現することができる。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置が有する構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置が有する構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
次に、本発明の概要を説明する。図36は、本発明によるセルフレジシステムの概要を示すブロック図である。本発明によるセルフレジシステム800(例えば、セルフレジシステム1)は、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する変化検出手段810(例えば、第1変化検出部120)と、変化検出手段810が検出した商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出手段820(例えば、陳列検出部160)と、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理(例えば、商品の登録)を行い、再配置検出手段820による検出結果(すなわち、商品が取られた場所とは異なる場所に戻されたこと)と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理(例えば、商品の削除、削除フラグの設定等)を行う買い物リスト生成手段830(例えば、買い物リスト更新部22)とを備えている。
そのような構成により、商品が取られた場所とは異なる場所に戻された場合であっても、顧客が購入する商品を適切に管理できる。
また、セルフレジシステム800は、変化検出手段810が検出した商品の陳列状態の変化と撮像画像に含まれる人物とを関連付ける関連付け手段(例えば、第1関連性生成部140および関連性統合部150)を備えていてもよい。そして、再配置検出手段820は、関連付け手段が関連付けた結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。
また、セルフレジシステム800は、買い物リストに対応する人物に、その買い物リストの状態を通知する通知手段(例えば、通知部23)を備えていてもよい。そして、買い物リスト生成手段830は、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定し、通知手段は、削除フラグが設定された商品を人物(例えば、人物が携帯する端末10)に対して通知してもよい。
具体的には、買い物リストは人物の携帯する装置(例えば、端末10)と対応付けられていてもよい。そして、通知手段は、削除フラグが設定された商品をその装置に通知してもよい。
そのような構成によれば、未承認の商品が決済されてしまうことを防止できる。
さらに、買い物リスト生成手段830は、通知した人物の携帯する装置(例えば、端末10)を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、その商品を削除する指示を受信した場合に、買い物リストから商品を削除してもよい。
また、買い物リスト生成手段830は、買い物リストに削除フラグが設定されている商品が存在する場合、その買い物リストに基づく決済処理を停止してもよい。
また、再配置検出手段820は、同一の人物について、一方の陳列状態の変化が商品の減少を表し、他方の陳列状態の変化が商品の増加を表す場合に、その変化の領域の形状が一方の陳列状態の変化と他方の陳列状態の変化とで一致し、かつ、その変化の領域が異なる位置を示す場合、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。
また、再配置検出手段820は、複数の場所に陳列されている同種の商品を棚割り情報に基づいて検出し、商品が取られた場所とは異なる場所に戻された場合でも、その場所が同種の商品が陳列されている場所である場合、同一の場所に戻されたと検出してもよい。
一方、セルフレジシステム800は、店舗内の人物の動線を検出する動線検出手段(例えば、動線検出装置6)を備えていてもよい。このとき、再配置検出手段820は、変化検出手段810が検出した商品の陳列状態の変化と、動線検出手段により検出される人物の動線とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。そのような構成によれば、商品が取られた場所とは異なる場所に戻されたことを検出する精度を向上させることができるため、商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。
具体的には、動線検出手段は、店舗内の所定の場所(例えば、店舗の入り口)で人物の認証を行い、その認証された人物を追尾して(例えば、近距離無線通信等で)人物の動線を検出し、買い物リスト生成手段830は、認証が行われたときに、認証された人物に対応する買い物リストを生成してもよい。そのような構成によれば、人物と買い物リストとを適切に関連付けることが可能になる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、前記変化検出手段が検出した前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出手段と、前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、前記再配置検出手段による検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行う買い物リスト生成手段とを備えたことを特徴とするセルフレジシステム。
(付記2)変化検出手段が検出した商品の陳列状態の変化と撮像画像に含まれる人物とを関連付ける関連付け手段を備え、再配置検出手段は、関連付け手段が関連付けた結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する付記1記載のセルフレジシステム。
(付記3)買い物リストに対応する人物に、当該買い物リストの状態を通知する通知手段を備え、買い物リスト生成手段は、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定し、前記通知手段は、前記削除フラグが設定された商品を前記人物に対して通知する付記1または付記2記載のセルフレジシステム。
(付記4)買い物リストは人物の携帯する装置と対応付けられており、通知手段は、削除フラグが設定された商品を前記装置に通知する付記3記載のセルフレジシステム。
(付記5)買い物リスト生成手段は、通知した人物の携帯する装置を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、当該商品を削除する指示を受信した場合に、買い物リストから前記商品を削除する付記4記載のセルフレジシステム。
(付記6)買い物リスト生成手段は、買い物リストに削除フラグが設定されている商品が存在する場合、当該買い物リストに基づく決済処理を停止する付記3から付記5のうちのいずれか1つに記載のセルフレジシステム。
(付記7)再配置検出手段は、同一の人物について、一方の陳列状態の変化が商品の減少を表し、他方の陳列状態の変化が商品の増加を表す場合に、当該変化の領域の形状が一方の陳列状態の変化と他方の陳列状態の変化とで一致し、かつ、当該変化の領域が異なる位置を示す場合、商品が取られた場所とは異なる場所に戻されたことを検出する付記1から付記6のうちのいずれか1つに記載のセルフレジシステム。
(付記8)再配置検出手段は、複数の場所に陳列されている同種の商品を棚割り情報に基づいて検出し、前記商品が取られた場所とは異なる場所に戻された場合でも、当該場所が同種の商品が陳列されている場所である場合、同一の場所に戻されたと検出する付記1から付記7のうちのいずれか1つに記載のセルフレジシステム。
(付記9)店舗内の人物の動線を検出する動線検出手段を備え、再配置検出手段は、変化検出手段が検出した商品の陳列状態の変化と、前記動線検出手段により検出される人物の動線とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する付記1記載のセルフレジシステム。
(付記10)動線検出手段は、店舗内の所定の場所で人物の認証を行い、当該認証された人物を追尾して人物の動線を検出し、買い物リスト生成手段は、前記認証が行われたときに、認証された人物に対応する買い物リストを生成する付記9記載のセルフレジシステム。
(付記11)商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出し、検出された前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出し、前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、商品が取られた場所とは異なる場所に戻されたことを示す検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行うことを特徴とする購入商品管理方法。
(付記12)コンピュータに、商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出処理、前記変化検出処理で検出された前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出処理、および、前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、前記再配置検出処理での検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行う買い物リスト生成処理を実行させるための購入商品管理プログラム。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。記録媒体は、例えば、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。