JP6342039B1 - 商品を管理するためのシステム、方法、及びプログラム - Google Patents

Abstract

【課題】 撮影画像の解析を伴う商品の管理を適切に行う。
【解決手段】 本発明の一実施形態に係る商品管理システム１は、管理端末１０が、重量センサ３８によって検出される重量が減少した場合に、人感センサ４０が顧客の手の存在を検知した時における商品エリア撮影用カメラ３６による商品エリアの撮影画像に基づいて当該商品エリアから取り出された商品を判定する一方、重量センサ３８によって検出される重量が増加した場合に、人感センサ４０が顧客の手の存在を検知しなくなった時における商品エリア撮影用カメラ３６による商品エリアの撮影画像に基づいて当該商品エリアに配置された商品を判定するように構成されている。
【選択図】 図１

Description

本発明は、商品エリアにおける商品を管理するためのシステム、方法、及びプログラムに関するものである。

従来、店舗の商品棚等の商品エリアに置かれている商品を管理するための様々な方法が提案されており、例えば、カメラによる撮影画像を解析することにより、商品エリアにおける商品の取り出し及び配置を管理する方法が提案されている。例えば、下記特許文献１は、商品が置かれている在庫場所に入る前のユーザの手の撮影画像、及び、当該在庫場所から出された後のユーザの手の撮影画像の比較に基づいて、商品の取り出し及び配置を追跡するシステムを開示する。このシステムでは、具体的には、２つの画像の比較の結果、一方の画像のユーザの手に商品が保持されていると判断される場合に、在庫場所からの商品の取り出し又は配置が判定される。

特表２０１６−５３２９３２号公報

しかしながら、上述した従来のシステムは、ユーザの手に商品が保持されているか否かを２つの画像の比較によって判断するものであるところ、例えば、サイズが小さい商品は、これを保持するユーザの手に隠れてしまうことがあり、この結果、商品の保持の有無の判断が困難となる場合がある。このように、ユーザの手の画像の解析に基づいて商品の取り出し及び配置を判定する従来の方法は、その判定の精度が十分とは言えない場合がある。

本発明の実施形態は、撮影画像の解析を伴う商品の管理を適切に行うことを目的の１つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。

本発明の一実施形態に係るシステムは、商品エリアにおける商品を管理するためのシステムであって、前記商品エリアの画像を撮影するように構成された撮影部と、前記商品エリアに置かれている商品の増減に応じて増減する所定の物理量を検出するように構成された検出部と、前記検出部によって検出される前記所定の物理量が減少した場合に、前記所定の物理量が減少するよりも前の第１のタイミングにおける前記撮影部によって撮影される前記商品エリアの第１の画像に基づいて前記商品エリアから取り出される商品を判定する一方、前記所定の物理量が増加した場合に、前記所定の物理量が増加するよりも後の第２のタイミングにおける前記撮影部によって撮影される前記商品エリアの第２の画像に基づいて前記商品エリアに配置された商品を判定するように構成された判定部と、を備える。

本発明の一実施形態に係る方法は、１又は複数のコンピュータによって実行され、商品エリアにおける商品を管理するための方法であって、前記１又は複数のコンピュータは、前記商品エリアの画像を撮影するように構成された撮影部と通信可能に接続されると共に、前記商品エリアに置かれている商品の増減に応じて増減する所定の物理量を検出するように構成された検出部と通信可能に接続されており、前記方法は、前記検出部によって検出される前記所定の物理量が減少した場合に、前記所定の物理量が減少するよりも前の第１のタイミングにおける前記撮影部によって撮影される前記商品エリアの第１の画像に基づいて前記商品エリアから取り出される商品を判定するステップと、前記検出部によって検出される前記所定の物理量が増加した場合に、前記所定の物理量が増加するよりも後の第２のタイミングにおける前記撮影部によって撮影される前記商品エリアの第２の画像に基づいて前記商品エリアに配置された商品を判定するステップと、を備える。

本発明の一実施形態に係るプログラムは、商品エリアにおける商品を管理するためのプログラムであって、前記商品エリアの画像を撮影するように構成された撮影部と通信可能に接続されると共に、前記商品エリアに置かれている商品の増減に応じて増減する所定の物理量を検出するように構成された検出部と通信可能に接続されたコンピュータ上での実行に応じて、前記コンピュータに、前記検出部によって検出される前記所定の物理量が減少した場合に、前記所定の物理量が減少するよりも前の第１のタイミングにおける前記撮影部によって撮影される前記商品エリアの第１の画像に基づいて前記商品エリアから取り出される商品を判定する処理と、前記検出部によって検出される前記所定の物理量が増加した場合に、前記所定の物理量が増加するよりも後の第２のタイミングにおける前記撮影部によって撮影される前記商品エリアの第２の画像に基づいて前記商品エリアに配置された商品を判定する処理と、を実行させる。

本発明の様々な実施形態は、撮影画像の解析を伴う商品の管理を適切に行う。

本発明の一実施形態に係る商品管理システム１の構成を概略的に示す構成図。 商品管理システム１による商品の管理が適用される店舗の様子を模式的に示す図。 顧客情報データベース１５１において管理される情報を例示する図。 商品情報データベース１５２において管理される情報を例示する図。 商品エリア情報データベース１５３において管理される情報を例示する図。 ４つの商品棚ＳＨを正面から見た模式図。 ４つの商品棚ＳＨを右側側面から見た模式図。 管理端末１０によって実行される処理を例示するフロー図。 顧客が商品棚ＳＨに置かれている商品を取り出す様子を説明するための図。 顧客によって取り出される商品を判定する方法を説明するための図。 顧客が商品棚ＳＨに商品を配置する様子を説明するための図。 顧客によって配置された商品を判定する方法を説明するための図。 重量変化時の商品エリアの撮影画像を例示する図。

以下、図面を参照しながら、本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る商品管理システム１の構成を概略的に示す構成図であり、図２は、当該商品管理システム１による商品の管理が適用される店舗の様子を模式的に示す図である。商品管理システム１は、図１に示すように、管理端末１０と、ゲート端末３２と、複数の店舗内撮影用カメラ３４と、複数の商品エリア撮影用カメラ３６と、複数の重量センサ３８と、複数の人感センサ４０とを備え、これらの装置が通信ネットワーク２０を介して相互に通信可能に接続されている。商品管理システム１は、図２に示すように、コンビニエンスストア等の店舗における複数の商品棚ＳＨの各々に置かれている商品の顧客による取り出し及び配置（戻し）を管理すると共に、顧客によって取り出された商品のレジ無し精算（決済）を支援する。このように、本実施形態の商品管理システム１は、レジ無し店舗を実現するためのシステムである。

管理端末１０は、一般的なコンピュータとして構成されており、図１に示すように、ＣＰＵ（コンピュータプロセッサ）１１と、メインメモリ１２と、ユーザＩ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶部）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

ＣＰＵ１１は、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。

ユーザＩ／Ｆ１３は、ユーザとの間で情報をやり取りするための各種の入出力装置である。通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、通信ネットワーク２０等を介した有線又は無線の通信を実現できるように構成されている。

ストレージ１５は、例えば磁気ディスク又はフラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム及び各種データ等を記憶する。

本実施形態において、ストレージ１５は、図１に示すように、顧客に関する情報を管理する顧客情報データベース１５１と、店舗において販売される商品に関する情報を管理する商品情報データベース１５２と、商品が置かれる商品エリアに関する情報を管理する商品エリア情報データベース１５３とを有する。

図３は、顧客情報データベース１５１において管理される情報を例示する。顧客情報データベース１５１は、図示するように、個別の顧客を識別する「ユーザＩＤ」に対応付けて、氏名及び支払情報（例えば、クレジットカード情報等を含む。）等を含む「基本情報」、顧客の画像である「顧客画像」、顧客の店舗内の位置を示す「店舗内位置」、顧客が商品エリアから取り出して保持している商品のリストである「商品リスト情報」等の情報を管理する。

本実施形態において、店舗を利用する顧客は、事前登録が必要であり、顧客情報データベース１５１の基本情報は、当該事前登録時に顧客から提供された情報が設定される。また、顧客画像は、顧客の入店時に店舗内撮影用カメラ３４によって撮影される顧客の手、顔、及び全身の３つの画像が設定される。店舗内位置は、入店している顧客を対象に、管理端末１０によってトラッキングされる顧客の位置が設定される。管理端末１０による顧客のトラッキングは、店舗内撮影用カメラ３４による撮影画像に基づいて行われる。店舗内位置は、例えば、店舗の床面に対応する平面空間上の座標情報として構成される。商品リスト情報は、詳しくは後述するが、管理端末１０によって判定される顧客による商品の取り出し及び配置に応じて更新される。

図４は、商品情報データベース１５２において管理される情報を例示する。商品情報データベース１５２は、図示するように、個別の商品を識別する「商品ＩＤ」に対応付けて、「商品名」、「価格」、「重量」、「画像特徴量」等の情報を管理する。これらの情報は、店舗の管理者等によって予め設定される。画像特徴量は、商品の画像における特徴量であり、商品エリア撮影用カメラ３６による撮影画像から当該商品を認識及び識別するために利用される。

図５は、商品エリア情報データベース１５３において管理される情報を例示する。商品エリア情報データベース１５３は、図示するように、個別の商品エリアを識別する「商品エリアＩＤ」に対応付けて、商品エリアの店舗内の位置を示す「店舗内位置」等の情報を管理する。店舗内位置は、例えば、顧客の店舗内の位置と同様に、店舗の床面に対応する平面空間上の座標情報として構成され、店舗の管理者等によって予め設定される。本実施形態において、１つの商品エリアは、商品が置かれる１つの商品棚に対応する。

ゲート端末３２は、一般的なコンピュータとしての構成を有し、店舗の出入口に設置されたゲートＧＴに設けられている（図２を参照）。ゲート端末３２は、顧客のユーザ端末（スマートフォン等）等を介して提示されるＱＲコード（登録商標）を読み取るための読取部（カメラ等）を有する。当該ＱＲコードには、個別の顧客を識別するためのユーザＩＤが埋め込まれている。

複数の店舗内撮影用カメラ３４は、図２に示すように、店舗の壁面及び天井等に設けられており、各カメラ３４は、店舗内の所定の位置を撮影するように構成されている。

複数の商品エリア撮影用カメラ３６の各々は、対応する１つの商品エリアを撮影するように構成されている。図６は、上下方向に配列されている４つの商品棚ＳＨを正面から見た模式図であり、図７は、当該４つの商品棚ＳＨを右側側面から見た模式図である。本実施形態においては、４つの商品棚ＳＨのうち最上部の商品棚ＳＨを除く３つの商品棚ＳＨの各々が、商品が置かれる１つの商品エリアＰＡを形成する。

図７に示すように、商品エリア撮影用カメラ３６は、４つの商品棚ＳＨのうち、最下部の商品棚ＳＨを除く３つの商品棚ＳＨの下面略中央に設けられており、その下側に位置する商品棚ＳＨに置かれている商品を上側から撮影するように構成されている。つまり、本実施形態においては、１つの商品エリアＰＡ（商品が置かれる商品棚ＳＨ）に対して、１つの商品エリア撮影用カメラ３６が設けられている。

複数の重量センサ３８は、図６及び図７に示すように、４つの商品棚ＳＨのうち、最上部の商品棚ＳＨを除く３つの商品棚ＳＨ（つまり、商品エリアＰＡを形成し商品が置かれる商品棚ＳＨ）の上面に設けられており、対応する１つの商品棚ＳＨに置かれている商品の総重量を検出するように構成されている。

複数の人感センサ４０は、図６及び図７に示すように、４つの商品棚ＳＨのうち、最下部の商品棚ＳＨを除く３つの商品棚ＳＨの下面であって、壁面Ｗ側の反対側の端部付近に設けられている。各人感センサ４０は、その下側に位置する商品エリアＰＡにおける人体（顧客の手）の存在を検知するように構成されている。人感センサ４０は、これに限定されないが、例えば、赤外線センサとして構成される。

次に、このように構成された商品管理システム１の動作について説明する。まず、顧客の入店時における動作について説明する。本実施形態において、店舗に入店しようとする顧客は、ゲートＧＴにおいて、ゲート端末３２に対して自身のＱＲコードを提示する。ゲート端末３２は、顧客がユーザ端末等を介して提示したＱＲコードを読み取って、当該ＱＲコードに埋め込まれているユーザＩＤを抽出し、抽出したユーザＩＤが顧客情報データベース１５１に事前登録されていることを確認する。なお、ＱＲコードは例示であって、顧客のユーザ端末等が備える非接触型ＩＣチップ等にユーザＩＤを記憶しておき、管理端末１０が、近距離無線通信によって、当該ユーザＩＤを読み取るようにしても良い。

また、ゲート端末３２による顧客のユーザＩＤの抽出（ＱＲコードの読み取り）に応じて、店舗内撮影用カメラ３４が顧客の手、顔、及び、全身をそれぞれ撮影し、これらの撮影画像は、顧客のユーザＩＤに対応付けられて、顧客情報データベース１５１に顧客画像として登録される。なお、顧客の手を撮影する店舗内撮影用カメラ３４は、ゲートＧＴの上方に設置されると共にゲート端末３２の読取部付近を撮影するように設定されており、当該読取部にＱＲコードを提示する顧客の手を上方から撮影することができる。

ゲート端末３２によって顧客情報データベース１５１に事前登録されている顧客であることが確認されると、当該顧客は、管理端末１０によるトラッキング処理（物体追跡処理）の対象となる。具体的には、管理端末１０は、店舗内撮影用カメラ３４による店舗内の撮影画像に基づいて当該顧客の店舗内の位置を追跡し、顧客情報データベース１５１の店舗内位置を随時更新する。当該トラッキング処理において、上述した顧客の顔及び全身の画像が用いられる。

以上、顧客の入店時における動作について説明した。次に、顧客による商品の取り出し及び配置を判定する動作について説明する。図８は、管理端末１０によって実行される処理を例示するフロー図である。図８の処理は、商品棚に置かれている商品の総重量が変化する都度、当該商品棚毎（商品エリア毎）に実行される。具体的には、管理端末１０は、重量センサ３８によって検出される重量が所定の閾値以上増加又は減少する都度、対応する商品エリアに対して図８の処理を実行する。

重量センサ３８によって検出される重量が変化すると、管理端末１０は、まず、図示するように、対応する商品エリアに近接している顧客を特定し、当該顧客の店舗内位置を取得する（ステップＳ１００）。具体的には、例えば、当該商品エリアとの間の距離が所定の範囲内である顧客を、商品エリアの店舗内位置（商品エリア情報データベース１５３において管理されている。）、及び、各顧客の店舗内位置（顧客情報データベース１５１において管理されている。）に基づいて特定し、特定された１又は複数の顧客の店舗内位置を取得する。ここで特定される顧客は、商品エリアに置かれている商品の総重量が変化したときに、当該商品エリアに近接していた顧客ということになる。

続いて、管理端末１０は、重量が変化した時の商品エリアの撮影画像に基づいて、重量が変化した位置を特定する（ステップＳ１１０）。重量センサ３８によって検出される重量が変化する場合は、顧客が、商品棚に置かれている商品を取り出すために持ち上げた場合、及び、商品棚に商品を配置した（戻した）場合が含まれる。まず、顧客が商品棚に置かれている商品を取り出す場合について説明する。

図９は、顧客が商品棚ＳＨに置かれている商品を取り出す様子を説明するための図であり、上から下方向に順に、商品エリア撮影用カメラ３６による撮影画像の変化を示している。この例では、第１の種類の商品ＰＲ１が、商品棚ＳＨの左側に前後に並べて２つ置かれており、第２の種類の商品ＰＲ２が、商品棚ＳＨの右側に前後に並べて２つ置かれている。なお、こうした商品の配置態様は例示であって、本実施形態において、商品棚ＳＨにおける商品の配置態様はこれに限定されず、例えば、１つの商品棚ＳＨに単一の種類の商品のみが置かれても良いし、３種類以上の商品が置かれていても良いし、また、複数の商品が上下方向に積み重ねられて置かれていても良い。

図９において、上から１番目の撮影画像に対応する時間ｔ１は、人感センサ４０が商品棚ＳＨにおける顧客の手の存在を検知したタイミングであり、商品棚ＳＨに顧客の手ＵＨが侵入し始めている。また、図９において、上から２番目の撮影画像に対応する時間ｔ２は、重量センサ３８によって検出される重量が変化（減少）したタイミングであり、商品棚ＳＨの左側手前に置かれている商品ＰＲ１が顧客の手ＵＨによって持ち上げられている。また、図９において、上から３番目の撮影画像に対応する時間ｔ３は、人感センサ４０が商品棚ＳＨにおける顧客の手の存在を検知しなくなったタイミングであり、商品ＰＲ１を保持する顧客の手ＵＨが商品棚ＳＨから離脱している。

図８のフロー図に戻り、ステップＳ１１０において、管理端末１０は、重量が変化（減少）したタイミングである時間ｔ２における商品エリアの撮影画像に基づいて、重量が変化した位置を特定する。具体的には、図１０に示すように、時間ｔ２における撮影画像を解析して当該画像における顧客の手の領域を抽出し、当該手の領域を重量が変化した変化領域ＣＡとして特定する。この例では、変化領域ＣＡは、顧客の手の部分を含む矩形の領域として構成されている。こうした画像内の顧客の手の領域の抽出は、画像解析の技術分野における公知の領域抽出技術等を適用して実現され得る。

重量が変化した位置を特定すると、次に、管理端末１０は、重量が減少している場合には（ステップＳ１２０においてＹＥＳ）、重量が変化した位置と、人感センサ４０が顧客の手の存在を検知した時（センサＯＮ時）の商品エリアの撮影画像とに基づいて、顧客によって取り出される商品を判定する（ステップＳ１３０）。具体的には、図１０に示すように、時間ｔ１における商品エリアの撮影画像を解析し、特定された変化領域ＣＡに位置する商品を判定する。こうした商品の判定は、商品情報データベース１５２において管理されている各商品の画像特徴量を用いて行われる。例えば、管理端末１０は、撮影画像の変化領域ＣＡの部分の特徴量と、各商品の画像特徴量との比較に基づいて、変化領域ＣＡに位置する商品を判定することができる。

ここで、変化領域ＣＡは、重量が変化したときの顧客の手の領域であるから、商品の形状、及び、当該商品を保持する態様によっては、当該商品が置かれていた位置が、変化領域ＣＡから外れる場合が想定される。この場合、例えば、変化領域ＣＡに近接する商品であって、重量が変化したときの顧客の手の配置（例えば、指先の向き、ポーズ等）に基づく方向に位置する商品を、顧客によって取り出される商品として判定することもできる。

このように、顧客が商品棚ＳＨに置かれている商品を取り出す場合には、重量が変化するよりも前のタイミングである顧客の手が商品エリアに侵入し始めた時（時間ｔ１）の商品エリアの撮影画像を用いて、取り出す（持ち上げられた）商品が判定される。当該撮影画像は、通常、取り出す前の商品が明確に含まれているから、当該商品の判定は比較的容易となる。

以上、顧客が商品棚に置かれている商品を取り出す場合について説明した。次に、顧客が商品棚に商品を配置した（戻した）場合について説明する。図１１は、顧客が商品棚ＳＨに商品を配置する様子を説明するための図であり、図９と同様に、上から下方向に順に、商品エリア撮影用カメラ３６による撮影画像の変化を示している。

図１１において、上から１番目の撮影画像に対応する時間ｔ１は、人感センサ４０が商品棚ＳＨにおける顧客の手の存在を検知したタイミングであり、商品ＰＲ１を保持する顧客の手ＵＨが商品棚ＳＨに侵入し始めている。また、図１１において、上から２番目の撮影画像に対応する時間ｔ２は、重量センサ３８によって検出される重量が変化（増加）したタイミングであり、商品棚ＳＨの左側手前に、顧客の手ＵＨによって商品ＰＲ１が配置されている。また、図１１において、上から３番目の撮影画像に対応する時間ｔ３は、人感センサ４０が商品棚ＳＨにおける顧客の手の存在を検知しなくなったタイミングであり、商品棚ＳＨから顧客の手ＵＨが離脱している。

図８のフロー図に戻り、商品を配置する場合においても、ステップＳ１１０では、管理端末１０は、商品を取り出す場合と同様に、重量が変化（増加）したタイミングである時間ｔ２における商品エリアの撮影画像に基づいて、重量が変化した位置を特定する。具体的には、図１２に示すように、時間ｔ２における撮影画像を解析して当該画像における顧客の手の領域を抽出し、当該手の領域を重量が変化した変化領域ＣＡとして特定する。

重量が変化した位置を特定すると、次に、管理端末１０は、重量が増加している場合には（ステップＳ１２０においてＮＯ）、人感センサ４０が顧客の手の存在を検知しなくなるのを待機した上で（ステップＳ１４０）、重量が変化した位置と、人感センサ４０が顧客の手の存在を検知しなくなった時（センサＯＦＦ時）の商品エリアの撮影画像とに基づいて、顧客によって配置された商品を判定する（ステップＳ１５０）。具体的には、図１２に示すように、時間ｔ３における商品エリアの撮影画像を解析し、特定された変化領域ＣＡに位置する商品を判定する。こうした商品の判定は、商品を取り出す場合と同様に、商品情報データベース１５２において管理されている各商品の画像特徴量を用いて行われる。

このように、顧客が商品棚ＳＨに商品を配置する（戻す）場合には、重量が変化するよりも後のタイミングである顧客の手が商品エリアから離脱した時（時間ｔ３）の商品エリアの撮影画像を用いて、配置された商品が判定される。当該撮影画像は、通常、配置した後の商品が明確に含まれているから、当該商品の判定は比較的容易となる。

こうして、商品棚から取り出された商品、又は、商品棚に配置された商品が判定されると、管理端末１０は、次に、重量の変化量と、商品の重量とに基づいて、取り出し又は配置が行われた商品の数量を判定する（ステップＳ１６０）。具体的には、重量の変化量を、判定された商品の重量（商品情報データベース１５２において管理されている。）によって除算することにより、取り出し又は配置が行われた商品の数量が算出される。

続いて、管理端末１０は、重量変化時の商品エリアの撮影画像に含まれる顧客の手と、ステップＳ１００において特定された商品エリアに近接していた各顧客の入店時に撮影された手との類似度を算出する（ステップＳ１７０）。こうした類似度の算出は、画像解析の技術分野における公知の領域抽出技術、及び、特徴量の比較に基づく類似度判定技術等を適用して実現される。なお、類似度を算出する処理は、管理端末１０にとって高負荷となり得るが、本実施形態においては、重量変化時に商品エリアに近接していた顧客のみが対象とされるから、入店している全ての顧客を対象に類似度を算出する場合と比較して、管理端末１０の負荷が軽減され得る。

そして、管理端末１０は、顧客の手の類似度に基づいて、商品の取り出し又は配置を行った顧客を判定する（ステップＳ１８０）。具体的には、管理端末１０は、重量変化時に商品エリアに近接していた顧客のうち、手の類似度が最も高い顧客を、商品の取り出し又は配置を行った顧客として判定する。

ここで、手の類似度に代えて、又は、これに加えて、重量変化時の商品エリアの撮影画像に含まれる顧客の手（腕）の配置に基づいて、商品の取り出し又は配置を行った顧客を判定するようにしても良い。例えば、図１３に示すように、重量変化時の画像に含まれる顧客の手（腕）が伸びる方向ＤＲと、重量変化時の顧客の位置とに基づいて、例えば、当該方向を基準として所定の角度の範囲内に位置していた顧客が、商品の取り出し又は配置を行った顧客として判定される。

こうして商品の取り出し又は配置を行った顧客が判定されると、管理端末１０は、顧客の商品リストを更新する（ステップＳ１９０）。具体的には、顧客が商品を取り出した場合には、判定された数量の商品が商品リストに追加され、顧客が商品を配置した場合には、判定された数量の商品が商品リストから除去される。当該商品リストに関する情報は、上述したように、顧客情報データベース１５１において管理される。

このように、顧客が商品の取り出し又は配置を行う都度、当該顧客に関連付けられている商品リストが更新される。そして、顧客が店舗から退出すると、当該商品リストに含まれる商品の決済処理が行われる。顧客の店舗からの退出は、例えば、管理端末１０によるトラッキング処理によって判定され、又は、ゲート端末３２において顧客が退出に対応する入力操作を実行することによって判定される。商品リストに含まれる商品の決済処理は、例えば、顧客の退出に応じて、商品リストに関する情報を顧客のユーザ端末に提示し、顧客による確認操作の後に実行される。

以上説明した本実施形態に係る商品管理システム１は、管理端末１０（判定部）が、重量センサ３８（検出部）によって検出される重量（所定の物理量）が減少した場合に、人感センサ４０（検知部）が顧客の手の存在を検知した時（所定の物理量が減少するよりも前の第１のタイミング）における商品エリア撮影用カメラ３６（撮影部）による商品エリアの撮影画像（第１の画像）に基づいて当該商品エリアから取り出される商品を判定する一方、重量センサ３８によって検出される重量が増加した場合に、人感センサ４０が顧客の手の存在を検知しなくなった時（所定の物理量が増加するよりも後の第２のタイミング）における商品エリア撮影用カメラ３６による商品エリアの撮影画像（第２の画像）に基づいて当該商品エリアに配置された商品を判定するように構成されている。このように、本実施形態に係る商品管理システム１は、商品が持ち上げられて重量が減少するよりも前の商品エリアの撮影画像、又は、商品が配置されて重量が増加した後の商品エリアの撮影画像に基づいて、取り出し又は配置が行われた商品を判定するから、例えば、サイズの小さい商品が顧客の手に隠れてしまう場合であっても、当該商品が露出している商品エリアの撮影画像に基づいて当該商品を判定することができる。この結果、商品を判定する精度の低下が抑制され得る。

上述した実施形態において、重量センサ３８は、対応する１つの商品棚に置かれている商品の総重量を検出するように構成されているが、本発明の他の実施形態においては、当該重量センサ３８に代えて、商品棚における重量が減少又は増加した位置を特定可能な検出結果を出力するようなセンサが適用され、例えば、商品棚における圧力分布を検出するシート型のセンサ等が適用され得る。この場合、管理端末１０は、重量が変化した時の商品エリアの撮影画像に基づいて重量が変化した位置を特定することに代えて、上述したようなセンサによる検出結果に基づいて、重量が変化した位置を特定することができる。

また、商品棚における圧力分布を検出するシート型のセンサのように、商品棚における重量の分布を検出可能なセンサを適用する場合、管理端末１０は、当該重量の分布、各商品の重量（商品情報データベース１５２において管理されている。）、及び、商品エリアの撮影画像に基づいて、各商品棚に置かれている商品の状況を適宜に認識することも可能となる。この場合、商品エリア毎の商品の状況（例えば、置かれている商品の種類（商品ＩＤ）、その数量、及び、商品棚上の位置（座標情報）等）を商品エリア情報データベース１５３において管理し、管理端末１０が、当該商品の状況を適宜に（例えば、重量が変化する都度）更新するようにしても良い。こうすれば、商品エリアの撮影画像に基づく商品の判定の精度が不十分となる場合であっても、例えば、対応する商品棚に置かれている商品の状況、及び、顧客の過去の購入実績（顧客情報データベース１５１において管理され得る。）等に基づいて、取り出し又は配置が行われた商品を判定することが可能となる。また、管理端末１０が、各商品棚に置かれている商品の状況を適宜に認識する場合において、商品情報データベース１５２等において、店舗における商品の在庫数を管理し、当該在庫数と、管理端末１０が認識する商品の状況との整合性を、適宜に確認するようにしても良い。

上述した実施形態では、商品棚に置かれている商品の重量の変化に応じて、取り出し又は配置が行われた商品を判定するように構成したが、商品エリアに置かれている商品の増減に応じて増減する重量以外の他の物理量を用いることもできる。例えば、本発明の他の実施形態においては、商品の重量に代えて、商品棚に置かれている商品の体積を検出する装置（例えば、三次元画像に基づいて体積を測定する装置）によって検出される体積が適用され得る。

上述した実施形態において、個別の商品を識別する商品識別情報（商品ＩＤ等）が格納されたＲＦＩＤを各商品に付し、取り出し又は配置が行われた商品の判定（ステップＳ１３０、Ｓ１５０）に、当該ＲＦＩＤを用いるようにしても良い。例えば、ステップＳ１１０における重量が変化した位置の特定に応じて、特定された位置に対応するように商品棚に設けられているＲＦＩＤリーダーが、当該特定された位置付近に存在する商品のＲＦＩＤに格納されている商品識別情報を読み取って、当該商品識別情報を用いて商品の特定が行われるようにしても良い。

上述した実施形態では、商品管理システム１が、レジ無し店舗を実現するためのシステムとして構成されているが、本発明の実施形態は、レジ無し店舗以外の例に適用することができ、例えば、倉庫の在庫場所における商品の管理（作業員による商品の取り出し及び配置の管理等）に適用することもできる。

本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。

１ 商品管理システム
１０ 管理端末（判定部）
１５ ストレージ（記憶部）
２０ 通信ネットワーク
３２ ゲート端末
３４ 店舗内撮影用カメラ
３６ 商品エリア撮影用カメラ（撮影部）
３８ 重量センサ（検出部）
４０ 人感センサ（検知部）
ＳＨ 商品棚
ＰＡ 商品エリア

Claims (13)

1. 商品エリアにおける商品を管理するためのシステムであって、
   前記商品エリアの画像を撮影するように構成された撮影部と、
   前記商品エリアに置かれている商品の増減に応じて増減する所定の物理量を検出するように構成された検出部と、
   前記検出部によって検出される前記所定の物理量が減少した場合に、前記所定の物理量が減少するよりも前の第１のタイミングにおける前記撮影部によって撮影される前記商品エリアの第１の画像に基づいて前記商品エリアから取り出される商品を判定する一方、前記所定の物理量が増加した場合に、前記所定の物理量が増加するよりも後の第２のタイミングにおける前記撮影部によって撮影される前記商品エリアの第２の画像に基づいて前記商品エリアに配置された商品を判定するように構成された判定部と、を備える、
   システム。
2. 前記所定の物理量は、前記商品エリアに置かれている商品の重量又は体積を含む、
   請求項１のシステム。
3. 前記判定部は、前記商品エリアにおける前記所定の物理量が減少又は増加した位置を特定し、前記特定した位置、及び、前記第１の画像又は前記第２の画像に基づいて、前記商品エリアから取り出された商品又は前記商品エリアに配置された商品を判定するように構成されている、
   請求項１又は２のシステム。
4. 前記判定部は、前記所定の物理量が減少又は増加したときの前記撮影部によって撮影される前記商品エリアの第３の画像に基づいて、前記商品エリアにおける前記所定の物理量が減少又は増加した位置を特定するように構成されている、
   請求項３のシステム。
5. 前記判定部は、前記第３の画像に含まれるユーザの手の位置に基づいて、前記商品エリアにおける前記所定の物理量が減少又は増加した位置を特定するように構成されている、
   請求項４のシステム。
6. 前記検出部は、前記商品エリアにおける前記所定の物理量が減少又は増加した位置を特定可能な検出結果を出力するように構成されており、
   前記判定部は、前記検出部による前記検出結果に基づいて、前記商品エリアにおける前記所定の物理量が減少又は増加した位置を特定するように構成されている、
   請求項３のシステム。
7. 前記判定部は、前記所定の物理量が減少又は増加したときの前記撮影部によって撮影される前記商品エリアの第３の画像に基づいて、商品を取り出した又は配置したユーザを特定するように構成されている、
   請求項１ないし６何れかのシステム。
8. 複数のユーザの各々の手を含む画像を少なくとも記憶する記憶部を更に備え、
   前記判定部は、前記第３の画像に含まれるユーザの手と、前記記憶部に記憶されている画像に含まれるユーザの手との比較に基づいて、商品を取り出した又は配置したユーザを特定するように構成されている、
   請求項７のシステム。
9. 前記判定部は、前記商品エリアが含まれる施設内における複数のユーザの各々の位置を認識し、前記所定の物理量が減少又は増加したときの前記複数のユーザの各々の位置に基づいて、商品を取り出した又は配置したユーザを特定するように構成されている、
   請求項７又は８のシステム。
10. 前記判定部は、前記第３の画像に含まれるユーザの手の配置に基づいて、商品を取り出した又は配置したユーザを特定するように構成されている、
    請求項９のシステム。
11. ユーザの手の前記商品エリアへの侵入及び前記商品エリアからの離脱を検知するように構成された検知部を更に備え、
    前記第１のタイミングは、前記検知部が前記商品エリアへのユーザの手の侵入を検知したタイミングであり、
    前記第２のタイミングは、前記検知部が前記商品エリアからのユーザの手の離脱を検知したタイミングである、
    請求項１ないし１０何れかのシステム。
12. １又は複数のコンピュータによって実行され、商品エリアにおける商品を管理するための方法であって、
    前記１又は複数のコンピュータは、前記商品エリアの画像を撮影するように構成された撮影部と通信可能に接続されると共に、前記商品エリアに置かれている商品の増減に応じて増減する所定の物理量を検出するように構成された検出部と通信可能に接続されており、
    前記方法は、
    前記検出部によって検出される前記所定の物理量が減少した場合に、前記所定の物理量が減少するよりも前の第１のタイミングにおける前記撮影部によって撮影される前記商品エリアの第１の画像に基づいて前記商品エリアから取り出される商品を判定するステップと、
    前記検出部によって検出される前記所定の物理量が増加した場合に、前記所定の物理量が増加するよりも後の第２のタイミングにおける前記撮影部によって撮影される前記商品エリアの第２の画像に基づいて前記商品エリアに配置された商品を判定するステップと、を備える、
    方法。
13. 商品エリアにおける商品を管理するためのプログラムであって、
    前記商品エリアの画像を撮影するように構成された撮影部と通信可能に接続されると共に、前記商品エリアに置かれている商品の増減に応じて増減する所定の物理量を検出するように構成された検出部と通信可能に接続されたコンピュータ上での実行に応じて、前記コンピュータに、
    前記検出部によって検出される前記所定の物理量が減少した場合に、前記所定の物理量が減少するよりも前の第１のタイミングにおける前記撮影部によって撮影される前記商品エリアの第１の画像に基づいて前記商品エリアから取り出される商品を判定する処理と、
    前記検出部によって検出される前記所定の物理量が増加した場合に、前記所定の物理量が増加するよりも後の第２のタイミングにおける前記撮影部によって撮影される前記商品エリアの第２の画像に基づいて前記商品エリアに配置された商品を判定する処理と、を実行させる、
    プログラム。

Images