JP7311524B2

JP7311524B2 - ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム

Info

Publication number: JP7311524B2
Application number: JP2020545731A
Authority: JP
Inventors: 巍 ▲劉▼; 宇 ▲陳▼; ▲強▼ ▲劉▼; 志翁; 亦▲軍▼ ▲馮▼; ▲鐘▼毓 ▲張▼
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2018-03-02
Filing date: 2019-02-14
Publication date: 2023-07-19
Anticipated expiration: 2039-02-14
Also published as: CN108198052A; US20210056498A1; JP2021515333A; US11638490B2; WO2019165891A1

Description

［関連出願の相互参照］
本願は、2018年3月2日に出願された中国特許出願第201810174871.3号に対する優先権の利益に基づくとともにこれを主張するものであり、この特許出願を、参照によりその全体を本願に組み込む。

本開示は、自動販売の技術分野に関し、特に、ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システムに関する。

人工知能技術の発展により、小売業に大きな革新がもたらされ、現在、多くの無人店、無人スーパーマーケットなどが次々と開店している。購入された商品を感知すること、およびこの商品をユーザと紐付けることは、買い物プロセス全体における2つの重要なリンクである。従来の小売店において、購入された商品の感知および顧客への紐付けは、店員の肉眼による観察を通じてなされ、全プロセスが手作業で完成されている。大型スーパーマーケットにおいて、購入された商品の感知はバーコードをスキャンすることによって実現することができるため、商品のカテゴリが、価格のような情報とともに識別され、これによって商品情報を取得する。現在の無人店、無人スーパーマーケットなどのほとんどが無線周波数識別(Radio Frequency Identification)技術を採用しており、ユーザによって商品が購入された後、ユーザは自動的に商品情報を取得してこの商品をユーザに紐付けることができ、これによりユーザ体験が向上する。

本開示の発明者らは、関連技術における購入された商品を感知してこの商品をユーザに紐付けるという技術的解決策には、以下の欠点、すなわち、労力に対する依存、高い人件費、および人による商品カテゴリおよび価格の記憶のために大規模に商品カテゴリを拡大することにおける困難さがあること、商品情報のアクセスはバックグラウンドシステムによって完成されるが、バーコードをスキャンするという動作は労力の消費を必要として非効率的であるため、支払いチャネルにおいて故障が容易に発生することに気付いた。

本開示の1つまたは複数の実施形態は、ユーザによって購入された商品を識別するための方法であって、容器に担持された商品の重量を取得するステップと、容器に対応する監視領域において取得された第1の監視画像を取得し、第1の監視画像を識別して、識別結果を獲得するステップであって、識別結果はユーザ身分情報を含む、ステップと、商品の重量が減少したと判定されたとき、容器に担持された少なくとも1つの商品が取り上げられた時間を取得し、商品の重量の変化値および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品の情報を判定するステップと、容器に担持された少なくとも1つの商品が取り上げられた時間および識別結果に基づいて、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得し、少なくとも1つの取り上げられた商品の情報とユーザ身分情報を関連付けるステップと、を含む、方法を提供する。

いくつかの実施形態において、容器に担持された少なくとも1つの商品が取り上げられた時間および識別結果に基づいて、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得するステップは、容器に担持された少なくとも1つの商品が取り上げられた時間に基づいてユーザ身分識別期間を判定するステップと、ユーザ身分識別期間に取得された第1の監視画像に対応する識別結果を目標識別結果として取得するステップと、目標識別結果におけるユーザ身分情報が空値でなければ、少なくとも1つの取り上げられた商品に対応するユーザ身分情報として目標識別結果におけるユーザ身分情報を取るステップと、を含む。

いくつかの実施形態において、この方法は、ユーザ身分情報およびユーザ特徴情報を取得し、ユーザ特徴情報とユーザ身分情報との間に身分特徴関連関係を確立するステップと、買い物場所において取得された第2の監視画像を取得し、ユーザ特徴情報に基づいて第2の監視画像にユーザを配置して、ユーザに対応する追跡軌跡を取得するステップと、ユーザ特徴情報が変化したと判定されたとき、新たなユーザ特徴情報に基づいて身分特徴関連関係を更新するステップと、目標識別結果におけるユーザ身分情報が空値であれば、身分識別期間および身分特徴関連関係に従って、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を判定するステップと、をさらに含む。

いくつかの実施形態において、身分識別期間および身分特徴関連関係に従って、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を判定するステップは、身分識別期間に取得された第1の監視画像を取得し、目標ユーザのユーザ特徴情報を第1の監視画像から抽出するステップと、身分特徴関連関係におけるユーザ特徴情報と目標ユーザのユーザ特徴情報を比較するステップと、成功した一致があれば、少なくとも1つの取り上げられた商品に対応するユーザ身分情報として身分特徴関連関係におけるユーザ身分情報を取るステップと、を含む。

いくつかの実施形態において、第1の監視画像を識別して識別結果を獲得するステップは、ユーザ身分情報およびユーザ顔画像を取得するステップと、ユーザ顔画像からユーザ顔特徴を抽出し、ユーザ顔特徴とユーザ身分情報との間に顔特徴関連関係を確立するステップと、第1の監視画像から顔特徴情報を抽出し、顔特徴情報と顔特徴関連関係におけるユーザ顔特徴との間の類似度を算出するステップと、類似度が予め設定された閾値より大きければ、第1の監視画像に対応する識別結果におけるユーザ身分情報として顔特徴関連関係におけるユーザ身分情報を取るステップと、を含む。

いくつかの実施形態において、この方法は、容器のコード化情報および容器に配置された商品のSKU情報を取得するステップと、コード化情報およびSKU情報に従って容器と商品との間の関連関係を確立するステップと、をさらに含む。

いくつかの実施形態において、商品の重量の変化値および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品の情報を判定するステップは、商品の重量が減少した容器のコード化情報を判定するとともに、コード化情報および容器と商品との間の関連関係に基づいて、取り上げられた商品のSKU情報を判定するステップ、を含む。

いくつかの実施形態において、商品の重量の変化値および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品の情報を判定するステップは、商品のSKU情報に対応する商品単位重量を取得するステップと、商品単位重量および商品の重量の減少値に基づいて、少なくとも1つの取り上げられた商品の数量情報を判定するステップと、をさらに含む。

いくつかの実施形態において、この方法は、商品の重量が増加したと判定されたとき、商品の重量の増加量を獲得するステップと、商品単位重量が商品の重量の増加量と一致するかどうかを判断し、一致しなければ、商品の置き違いを示唆するステップと、をさらに含む。

いくつかの実施形態において、この方法は、第1の監視画像におけるユーザの動作行為およびその動作行為に対応する少なくとも1つの目標商品を識別するステップであって、動作行為は取り出し行為および置き戻し行為を含む、ステップと、少なくとも1つの目標商品のSKU情報および少なくとも1つの目標商品が置き戻された目標容器のコード化情報を取得するステップと、容器と商品との間の関連関係に基づいて、少なくとも1つの目標商品のSKU情報が目標容器のコード化情報と一致するかどうかを判断するステップと、一致しなければ、商品の置き違いを示唆するステップと、をさらに含む。

いくつかの実施形態において、この方法は、計量装置と容器のコード化情報との間の対応関係を設定するステップであって、計量装置は、計量装置に対応する容器によって担持された商品の重量を取得するために用いられる、ステップと、計量装置によって送信された重量検出信号に基づいて商品の重量が減少または増加したと判定されたとき、商品の重量が減少または増加した容器のコード化情報および商品の重量の変化値を対応関係に従って判定するステップと、をさらに含む。

本開示の実施形態は、ユーザによって購入された商品を識別するための装置であって、容器に担持された商品の重量を取得するように構成された重量検出モジュールと、容器に対応する監視領域において取得された第1の監視画像を取得し、第1の監視画像を識別して、識別結果を獲得するように構成され、識別結果はユーザ身分情報を含む、画像識別モジュールと、商品の重量が減少したと判定されたとき、容器に担持された少なくとも1つの商品が取り上げられた時間を取得し、商品の重量の変化値および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品の情報を判定するように構成された商品情報取得モジュールと、容器に担持された少なくとも1つの商品が取り上げられた時間および識別結果に基づいて、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得するように構成されたユーザ身分識別モジュールと、少なくとも1つの取り上げられた商品の情報とユーザ身分情報を関連付けるように構成されたユーザ商品紐付けモジュールと、を含む、装置を提供する。

いくつかの実施形態において、ユーザ身分識別モジュールは、商品が取り上げられた時間に基づいてユーザ身分識別期間を判定し、ユーザ身分識別期間に取得された第1の監視画像に対応する識別結果を目標識別結果として取得し、目標識別結果におけるユーザ身分情報が空値でなければ、取り上げられた商品に対応するユーザ身分情報として目標識別結果におけるユーザ身分情報を取るように構成されている。

いくつかの実施形態において、この装置は、ユーザ身分情報およびユーザ特徴情報を取得し、ユーザ特徴情報とユーザ身分情報との間に身分特徴関連関係を確立し、買い物場所において取得された第2の監視画像を取得し、ユーザ特徴情報に基づいて第2の監視画像にユーザを配置し、ユーザに対応する追跡軌跡を取得し、ユーザ特徴情報が変化したと判定されたとき、新たなユーザ特徴情報に基づいて身分特徴関連関係を更新するように構成されたユーザ行動追跡モジュールをさらに含み、ユーザ身分識別モジュールは、目標識別結果におけるユーザ身分情報が空値であれば、身分識別期間および身分特徴関連関係に従って、取り上げられた商品に対応するユーザ身分情報を判定するようにさらに構成されている。

いくつかの実施形態において、ユーザ身分識別モジュールは、身分識別期間に取得された第1の監視画像を取得し、第1の監視画像から目標ユーザのユーザ特徴情報を抽出し、身分特徴関連関係におけるユーザ特徴情報と目標ユーザのユーザ特徴情報を比較し、成功した一致があれば、取り上げられた商品に対応するユーザ身分情報として身分特徴関連関係におけるユーザ識別情報を取るようにさらに構成されている。

いくつかの実施形態において、画像識別モジュールは、ユーザ身分情報およびユーザ顔画像を取得し、ユーザ顔画像からユーザ顔特徴を抽出し、ユーザ顔特徴とユーザ身分情報との間に顔特徴関連関係を確立し、第1の監視画像から顔特徴情報を抽出し、顔特徴関連関係における顔特徴情報とユーザ顔特徴との間の類似度を算出し、類似度が予め設定された閾値より大きければ、第1の監視画像に対応する識別結果におけるユーザ身分情報として顔特徴関連関係におけるユーザ身分情報を取るように構成されている。

いくつかの実施形態において、商品情報取得モジュールは、容器のコード化情報および容器に配置された商品のSKU情報を取得し、コード化情報およびSKU情報に従って容器と商品との間の関連関係を確立するように構成されている。

いくつかの実施形態において、商品情報取得モジュールは、商品の重量が減少した容器のコード化情報を判定し、コード化情報および容器と商品との間の関連関係に基づいて、取り上げられた商品のSKU情報を判定するように構成されている。

いくつかの実施形態において、商品情報取得モジュールは、商品のSKU情報に対応する商品単位重量を取得し、商品単位重量および商品の重量の減少値に基づいて、取り上げられた商品の数量情報を判定するように構成されている。

いくつかの実施形態において、商品情報取得モジュールは、商品の重量が増加したと判定されたとき、商品の重量の増加量を獲得し、商品単位重量が商品の重量の増加量と一致するかどうかを判断し、一致しなければ、商品の置き違いを示唆するように構成されている。

いくつかの実施形態において、画像識別モジュールは、第1の監視画像におけるユーザの動作行為およびその動作行為に対応する目標商品を識別し、動作行為は取り出し行為および置き戻し行為を含み、目標商品のSKU情報および目標商品が置き戻された目標容器のコード化情報を取得し、容器と商品との間の関連関係に基づいて、目標商品のSKU情報が目標容器のコード化情報と一致するかどうかを判断し、一致しなければ、商品の置き違いを示唆するように構成されている。

いくつかの実施形態において、重量検出モジュールは、計量装置と容器のコード化情報との間の対応関係を設定し、計量装置は、計量装置に対応する容器によって担持された商品の重量を検出するために用いられ、計量装置によって送信された重量検出信号に基づいて商品の重量が減少または増加したと判定されたとき、商品の重量が減少または増加した容器のコード化情報および商品の重量の変化値を対応関係に従って判定するように構成されている。

本開示の実施形態は、ユーザによって購入された商品を識別するための装置であって、メモリと、メモリに結合されたプロセッサと、を含み、プロセッサは、メモリに格納された命令に基づいて、上述のようなユーザによって購入された商品を識別するための方法を実行するように構成されている、装置を提供する。

本開示の実施形態は、1つまたは複数のプロセッサによって実行されると、上述のような方法のステップを実施するコンピュータプログラム命令が格納された非一時的コンピュータ可読記憶媒体を提供する。

本開示の実施形態は、上述のようなユーザによって購入された商品を識別するための装置を含むインテリジェント棚システムを提供する。

いくつかの実施形態において、インテリジェント棚システムは、棚本体と、商品を担持するために棚本体に配置された少なくとも1つの容器と、容器によって担持された商品の重量を検出するように構成された計量装置と、容器に対応する監視領域において第1の監視画像を取得するように構成された第1のカメラ装置と、を含み、ユーザによって購入された商品を識別するための装置は、計量装置および第1のカメラ装置とそれぞれ電気的に接続されており、第1の監視画像および計量装置によって送信された重量信号を取得するように構成されている。

いくつかの実施形態において、インテリジェント棚システムは、棚本体に配置された積層板を含み、容器は積層板上に配置され、計量装置は積層板上で容器の下に取り付けられ、計量装置は容器に対応して配置されている。

いくつかの実施形態において、インテリジェント棚システムは、買い物場所において第2の監視画像を取得するように構成された第2のカメラ装置をさらに含み、ユーザによって購入された商品を識別するための装置は、第2のカメラ装置と電気的に接続されており、第2の監視画像を取得するようにさらに構成されている。

いくつかの実施形態において、インテリジェント棚システムは、ユーザによって購入された商品を識別するための装置と電気的に接続されており、ユーザによって購入された商品を識別するための装置によって送信された商品置き違い示唆情報を受信してユーザに示唆するように構成された、示唆装置をさらに含む。

本願の技術的解決策を適用することによって、容器によって担持された商品の重量が検出され、容器に対応する監視領域において取得された監視画像に対して画像認識を実行することによってユーザ身分情報が獲得され、商品の重量が減少したと判定されたとき、取り上げられた商品の情報が判定され、取り上げられた商品の情報とユーザ身分情報が関連付けられ、センサ技術と画像認識技術を組み合わせることによって、購入された商品の自動感知および商品情報のユーザ身分への自動紐付けが実現され、インテリジェント棚は、担体として用いられ、ユーザによって購入された商品を自動的に感知することができるため、労働コストが節約され、識別は迅速かつ正確であり、買い物効率が向上し、商品をユーザに紐付けるためのユーザ動作は要求されず、したがって買い物体験が向上する。
本開示の他の特徴および利点は、以下の添付の図面を参照して、本開示の例示的な実施形態の詳細な説明を通じて明らかになるであろう。

本開示の実施形態または関連技術における技術的解決策をより明確に示すため、実施形態または関連技術の説明において用いる図面を以下に簡単に紹介するが、以下の説明における図面は、本開示のいくつかの実施形態にすぎず、当業者にとって、創造的な努力なしにこれらの図面から他の図面を得ることができるということは自明である。

本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態を示す概略フローチャートである。本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態における画像識別結果に基づいてユーザ身分情報を判定するプロセスを示す概略フローチャートである。本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態における監視画像を識別するプロセスを示す概略フローチャートである。本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態におけるユーザ追跡に基づいてユーザ身分情報を判定するプロセスを示す概略フローチャートである。本開示によるユーザによって購入された商品を識別するための装置のいくつかの実施形態を示す概略ブロック図である。本開示によるユーザによって購入された商品を識別するための装置のいくつかの他の実施形態を示す概略ブロック図である。本開示によるインテリジェント棚システムのいくつかの実施形態を示す概略図であり、ユーザによって購入された商品を識別するための装置と他の構成要素との間の接続を示す概略図である。本開示によるインテリジェント棚システムのいくつかの実施形態を示す概略図であり、棚本体および容器が取り付けられた後の正面図である。本開示によるインテリジェント棚システムのいくつかの実施形態を示す概略図であり、棚本体および容器が取り付けられた後の側面図である。本開示によるインテリジェント棚システムのいくつかの実施形態を示す概略図であり、棚本体および容器が取り付けられた後の斜視図である。本開示によるインテリジェント棚システムのいくつかの実施形態を示す概略図であり、容器の概略図である。本開示によるインテリジェント棚システムのいくつかの実施形態を示す概略図であり、棚本体および積層板などの取り付けを示す概略図である。

本開示の実施形態における図面を参照して、本開示の実施形態における技術的解決策を以下に明確かつ完全に説明するが、記載の実施形態は、すべての実施形態ではなく、本開示のいくつかの実施形態にすぎないことは自明である。すべての他の実施形態は、いかなる創造的な努力をすることもなく本開示における実施形態から当業者によって導出することができ、本開示の保護の範囲内に入るものとする。

関連技術における技術的解決策には、以下の欠点、すなわち、高い人件費、および人による商品カテゴリおよび価格の記憶のために大規模に商品カテゴリを拡大することにおける困難さがあり、従来のスーパーマーケットはバーコードをスキャンし、商品情報のアクセスはバックグラウンドシステムによって完成されるが、バーコードをスキャンするという動作は労力の消費を必要として非効率的であるため、支払いチャネルにおいて故障が容易に発生し、結果としてユーザ体験が貧しくなり、Rfidの解決策は、購入された商品の自動感知および顧客の紐付けの自動化を実現するが、高コストという問題があり、加えて、異なる無線周波数が商品媒体の安定性に影響を及ぼし、ユーザの悪意の遮蔽のような問題が発生する。

以下の「第1」、「第2」などの用語は、説明を区別するためだけのものであり、他の特別な意味はない。

図1は、本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態を示す概略フローチャートであり、ステップ101～ステップ104を含む。

ステップ101:容器に担持されたすべての商品の重量を取得する。

容器は、商品などを担持するための販売箱であり、あらゆる種類の容器がある。たとえば、無人スーパーマーケットの棚において、棚には商品を担持するための1つまたは複数の容器が設けられている。棚には、それぞれの容器に担持された商品の重量を測定するための1つまたは複数の計量装置が設けられており、1つの計量装置は、1つまたは複数の容器によって担持された商品の重量を測定することができる。計量装置は、重量センサを通して商品の重量を取得することができる。

ステップ102:容器に対応する監視領域において取得された第1の監視画像を取得し、第1の監視画像を識別して、識別結果を獲得し、識別結果は、ユーザIDなどであり得るユーザ身分情報を含む。

容器の前方または周囲の領域は、容器に対応する監視領域として用いられ、カメラなどが監視領域において第1の監視画像を取得するように配置され、ユーザが棚上の商品を取るおよび置くなどの行為を第1の監視画像を通して取得することができる。第1の監視画像の画像認識は、さまざまなモデル、たとえば、事前に訓練されたさまざまなニューラルネットワークモデルを採用することができる。

ステップ103:商品の重量が減少したと判定されたとき、容器に担持された少なくとも1つの商品が取り上げられた時間を取得し、商品の重量の変化値および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品の情報を判定する。

ステップ104:容器に担持された少なくとも1つの商品が取り上げられた時間および識別結果に基づいて、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得し、少なくとも1つの取り上げられた商品の情報とユーザ身分情報を関連付ける。センサ技術と画像識別技術を組み合わせることによって、購入された商品の自動感知および商品情報のユーザ身分への自動紐付けを実現することができる。

いくつかの実施形態において、容器に担持された少なくとも1つの商品が取り上げられた時間および識別結果に基づいて、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得するためのさまざまな方法があり得る。たとえば、図2は、本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態における画像識別結果に基づいてユーザ身分情報を判定するプロセスを示す概略フローチャートであり、ステップ201～ステップ203を含む。

ステップ201:容器に担持された少なくとも1つの商品が取り上げられた時間に基づいてユーザ身分識別期間を判定する。

ユーザ身分識別期間は、商品が取り上げられた時間の前後数秒間の期間とすることができる。たとえば、商品の重量が減少したと判定され、商品が取り上げられた時間が10:00:00であるとき、ユーザ身分識別期間は9:59:58と10:00:02との間の期間である。

ステップ202:ユーザ身分識別期間に取得された第1の監視画像に対応する識別結果を目標識別結果として取得する。たとえば、9:59:58と10:00:02との間の第1の監視画像についての識別結果が目標識別結果として取得される。

ステップ203:目標識別結果におけるユーザ身分情報が空値でなければ、少なくとも1つの取り上げられた商品に対応するユーザ身分情報として目標識別結果におけるユーザ身分情報を取る。

目標識別結果におけるユーザ身分情報が空値でなければ、これは第1の監視画像に基づくユーザ身分識別が成功したことを意味し、目標識別結果におけるユーザ身分情報が空値であれば、これは第1の監視画像に基づくユーザ身分識別が失敗したことを意味する。

図3は、本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態における監視画像を識別するプロセスを示す概略フローチャートであり、ステップ301～ステップ304を含む。

ステップ301:ユーザ身分情報およびユーザ顔画像を取得する。

ステップ302:ユーザ顔画像からユーザ顔特徴を抽出し、ユーザ顔特徴とユーザ身分情報との間に顔特徴関連関係を確立する。

たとえば、ユーザが無人スーパーマーケットに入ると、スーパーマーケットのドアで身分認証が実行され、ユーザの画像が取得される。身分認証が成功すれば、ユーザ身分情報(ユーザIDなど)が獲得され、取得されたユーザ画像からユーザ顔特徴が抽出され、ユーザ顔特徴とユーザ身分情報との間に顔特徴関連関係が確立される。

ステップ303:第1の監視画像から顔特徴情報を抽出し、顔特徴情報と顔特徴関連関係におけるユーザ顔特徴との間の類似性を算出する。

ステップ304:類似性が予め設定された閾値より大きければ、第1の監視画像に対応する識別結果におけるユーザ身分情報として顔特徴関連関係におけるユーザ身分情報を取る。類似性が予め設定された閾値以下であれば、ユーザ身分識別は失敗である。

カメラ装置を通してリアルタイムで撮影し、カメラ装置からリアルタイムで第1の監視画像を取得することによって、毎秒複数の画像が取得され、顔認識アルゴリズムが呼び出され、たとえば、顔認識のためのSIFTアルゴリズムなどを用いて、それぞれ顔認識を実行し、識別結果がデータベースに保存される。

各容器は事前にコード化されており、容器に配置された商品および商品の配置の位置が判定される。容器のコード化情報および容器に配置された商品のSKU情報が取得され、コード化情報およびSKU情報に従って容器と商品との間の関連関係が確立される。

第1の監視画像を取得した後、識別スレッドを通して第1の監視画像に対して顔認識が実行され、第1の監視画像が取得された時間、識別結果、カメラ番号などがデータベースに保存される。カメラ番号は、容器のコード化情報と関連付けられており、ユーザ身分識別期間およびカメラ番号に従って目標識別結果をデータベースから獲得することができる。

計量装置と容器のコード化情報との間の対応関係が設定され、計量装置は、対応する容器によって担持された商品の重量を検出するために用いられる。計量装置によって送信された重量検出信号に基づいて商品の重量が減少または増加したと判定されたとき、商品の重量が減少または増加した容器のコード化情報および商品の重量の変化値が対応関係に従って判定される。

商品の重量が減少した容器のコード化情報が判定され、コード化情報および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品のSKU情報が判定される。商品のSKU情報に対応する商品単位重量が取得され、商品単位重量および商品の重量の減少値に基づいて、少なくとも1つの取り上げられた商品の数量情報が判定される。

計量装置は、初期化時に各容器において重量を記録し、容器に担持された少なくとも1つの商品が取り上げられまたは置き戻されたときに減少または増加した重量を算出し、減少重量情報を獲得し、重量を商品skuの単位重量で割って、いくつの商品が取り上げられまたは置き戻されたかを算出する。

商品の重量が増加したと判定されたとき、商品の重量の増加値が獲得され、商品の単位重量が商品の重量の増加値と一致するかどうかが判断され、一致しなければ、商品の置き違いが示唆される。たとえば、容器Aに配置された商品Aの単位重量が100gであり、容器Aの重量が30g増加したと判定されたとき、商品Aの単位重量は容器Aに担持されたすべての商品Aの重量の増加値と一致せず、商品の置き違いが示唆されるが、これは、示唆音声を再生すること、または表示画面に示唆メッセージを表示することによって行うことができる。

第1の監視画像におけるユーザの動作行為およびその動作行為に対応する少なくとも1つの目標商品が識別され、動作行為は、取り出し行為、置き戻し行為などを含む。第1の監視画像の識別には、予め訓練されたニューラルネットワークモデルを用いることができ、訓練段階において、商品skuが標記された画像データと、取り出し行為および置き戻し行為の画像データとを訓練に用いることができる。訓練されたニューラルネットワークモデルを用いることによってユーザジェスチャの特徴を抽出および分析することによって、行動識別を導出することができる。

少なくとも1つの目標商品のSKU情報および少なくとも1つの目標商品が置き戻された目標容器のコード化情報は、画像認識を通して獲得することができる。少なくとも1つの目標商品が置き戻された目標容器のコード化情報を獲得するためのさまざまな方法があり、たとえば、目標容器における元の商品を、元の商品のskuを判定するよう、画像認識を通して判定することができ、目標容器のコード化情報は、元の商品のskuに基づいて獲得される。容器と商品との間の関連関係に基づいて、少なくとも1つの目標商品のSKU情報が目標容器のコード化情報と一致するかどうかが判断され、一致しなければ、商品の置き違いが示唆される。

図4は、本開示によるユーザによって購入された商品を識別するための方法のいくつかの実施形態におけるユーザ追跡に基づいてユーザ身分情報を判定するプロセスを示す概略フローチャートであり、ステップ401～ステップ403を含む。

ステップ401:ユーザ身分情報およびユーザ特徴情報を取得し、ユーザ特徴情報とユーザ身分情報との間に身分特徴関連関係を確立する。

たとえば、ユーザが無人スーパーマーケットに入ると、入口で身分認証が実行されてユーザ画像が取得される。身分認証が成功すれば、ユーザ身分情報(ユーザIDなど)が取得され、取得されたユーザ画像からユーザ特徴情報が抽出され、ユーザ特徴情報は、服装スタイル、服装色、身体特徴などを含む。

ステップ402:買い物場所において取得された第2の監視画像を取得し、ユーザ特徴情報に基づいて第2の監視画像にユーザを配置して、ユーザに対応する追跡軌跡を取得する。

ステップ403:ユーザ特徴情報が変化したと判定されたとき、新たなユーザ特徴情報に基づいて身分特徴関連関係を更新する。

買い物場所は、買い物領域、廊下および他の領域を含み、ユーザは、ユーザの服装スタイル、服装色、身体特徴などに基づく目標追跡アルゴリズムを採用することによって第2の監視画像に配置され、ユーザの追跡軌跡、すなわちユーザの運動軌跡を取得する。KCFアルゴリズムなど、さまざまな種類の追跡アルゴリズムがある。ユーザの特徴情報が変化すれば、たとえば、ユーザがコートを脱いだり、マスクを着用したりすれば、ユーザの新たなユーザ特徴情報が判定され、新たなユーザ特徴情報に基づいて身分特徴関連関係が更新される。

ステップ404:目標識別結果におけるユーザ識別情報が空値であれば、身分識別期間および身分特徴関連関係に従って、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を判定する。

たとえば、ユーザが無人スーパーマーケットに入った後にマスクを着用し、第1の監視画像に基づくユーザ身分の識別が失敗したとき、目標識別結果におけるユーザ身分情報は空値である。少なくとも1つの取り上げられた商品の情報とユーザ身分情報が関連付けられ、目標識別結果におけるユーザ身分情報が空値であるとき、身分識別期間に取得された第1の監視画像が取得され、目標ユーザのユーザ特徴情報は第1の監視画像から抽出される。目標ユーザのユーザ特徴情報は、身分特徴関連関係におけるユーザ特徴情報と比較され、この時のユーザ特徴情報は、リアルタイムで更新される新たなユーザ特徴であり、成功した一致があれば、身分特徴関連関係におけるユーザ身分情報が、少なくとも1つの取り上げられた商品に対応するユーザ身分情報として取られる。

いくつかの実施形態において、ユーザAが無人スーパーマーケットに入ると、ユーザAは顔識別技術に従って識別され、ユーザAが合法なユーザであると判定されれば、検証は成功し、獲得されたユーザ身分情報はユーザIDである。ユーザAのユーザ顔特徴とユーザ身分情報との間の顔特徴関連関係が確立される。ユーザAの服装スタイル、服装色、身体特徴などがユーザ特徴情報として抽出され、ユーザ特徴情報とユーザ身分情報との間に身分特徴関連関係が確立される。

ユーザAのユーザ特徴情報(ジャケット色、頭頂部のような)は、目標追跡アルゴリズムを用いることによって追跡および分析され、ユーザAのユーザ特徴情報はリアルタイムで更新される。ユーザAが容器Aに到着する前に、カメラは第1の監視画像を取得して顔認識を実行し、ユーザAが識別された後、ユーザAのユーザid、現在時刻およびカメラ情報がデータベースに保存される。

ユーザAが容器Aにおける商品を取り上げた後、計量装置における重量センサによって送信された信号に従って重量の減少が判定され、現在時刻に従って3秒前に押すことによって開始時間を、2秒後ろに押すことによって終了時間を設定することによって、ユーザ身分識別期間が設定される。ユーザ身分識別期間内にデータベースに保存されたデータが照会されてユーザAのユーザIDを取得し、容器Aによって担持された商品のskuおよびskuの固有の重量が容器Aに従って判定され、重量の減少値を固有の重量で割ることによって、ユーザAによって取り上げられた商品の数が算出され、ユーザAのユーザIDおよび商品skuが、ユーザAによって取り上げられた商品の数に紐付けされる。

第1の監視画像に基づいてユーザの身分を識別することができなければ、ユーザ身分識別期間内に取得された第1の監視画像およびユーザAの新たなユーザ特徴情報に従ってユーザAが確認され、次いでユーザAのIDが判定され、ユーザAのユーザIDおよび商品skuは、ユーザAによって取り上げられた商品の数に紐付けされ、これによって即時持ち帰り販売モードを達成する。

いくつかの実施形態において、本開示は、ユーザによって購入された商品を識別するための装置50を提供し、重量検出モジュール51、画像識別モジュール52、商品情報取得モジュール53、ユーザ身分識別モジュール54、ユーザ商品紐付けモジュール55およびユーザ行動追跡モジュール56を含む。

重量検出モジュール51は、容器に担持されたすべての商品の重量を取得するように構成されている。画像識別モジュール52は、容器に対応する監視領域において取得された第1の監視画像を取得し、第1の監視画像を識別して、識別結果を獲得するように構成され、識別結果は、ユーザ身分情報などを含む。商品情報取得モジュール53は、商品の重量が減少したと判定されたとき、容器に担持された少なくとも1つの商品が取り上げられた時間を取得し、商品の重量の変化値および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げた商品の情報を判定するように構成されている。ユーザ身分識別モジュール54は、容器に担持された少なくとも1つの商品が取り上げられた時間および識別結果に基づいて、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得するように構成されている。ユーザ商品紐付けモジュール55は、取り上げられた商品の情報とユーザ身分情報を関連付けるように構成されている。

いくつかの実施形態において、ユーザ身分識別モジュール54は、容器に担持された少なくとも1つの商品が取り上げられた時間に基づいてユーザ身分識別期間を判定する。ユーザ身分識別モジュール54は、ユーザ身分識別期間に取得された第1の監視画像に対応する識別結果を目標識別結果として取得する。目標識別結果におけるユーザ身分情報が空値でなければ、ユーザ身分識別モジュール54は、少なくとも1つの取り上げられた商品に対応するユーザ身分情報として目標識別結果におけるユーザ身分情報を取る。

ユーザ行動追跡モジュール56は、ユーザ身分情報およびユーザ特徴情報を取得し、ユーザ特徴情報とユーザ身分情報との間に身分特徴関連関係を確立する。ユーザ行動追跡モジュール56は、買い物場所において取得された第2の監視画像を取得し、ユーザ特徴情報に基づいて第2の監視画像にユーザを配置して、ユーザに対応する追跡軌跡を取得する。ユーザ特徴情報が変化したと判定されたとき、ユーザ行動追跡モジュール56は、新たなユーザ特徴情報に基づいて身分特徴関連関係を更新する。目標識別結果におけるユーザ身分情報が空値であれば、ユーザ身分識別モジュール54は、身分識別期間および身分特徴関連関係に従って、少なくとも1つの取り上げられた商品に対応するユーザ身分情報を判定する。

ユーザ身分識別モジュール54は、身分識別期間に取得された第1の監視画像を取得し、目標ユーザのユーザ特徴情報を第1の監視画像から抽出する。ユーザ身分識別モジュール54は、身分特徴関連関係におけるユーザ特徴情報と目標ユーザのユーザ特徴情報を比較する。成功した一致があれば、ユーザ身分識別モジュール54は、少なくとも1つの取り上げられた商品に対応するユーザ身分情報として身分特徴関連関係におけるユーザ身分情報を取る。

いくつかの実施形態において、画像識別モジュール52は、ユーザ身分情報およびユーザ顔画像を取得する。画像識別モジュール52は、ユーザ顔画像からユーザ顔特徴を抽出し、ユーザ顔特徴とユーザ身分情報との間に顔特徴関連関係を確立する。画像識別モジュール52は、第1の監視画像から顔特徴情報を抽出し、顔特徴情報と顔特徴関連関係におけるユーザ顔特徴との間の類似度を算出する。類似度が予め設定された閾値より大きければ、画像識別モジュール52は、第1の監視画像に対応する識別結果におけるユーザ身分情報として顔特徴関連関係におけるユーザ身分情報を取る。

画像識別モジュール52は、第1の監視画像におけるユーザの動作行為およびその動作行為に対応する少なくとも1つの目標商品を識別し、動作行為は、取り出し行為、置き戻し行為などを含む。画像識別モジュール52は、少なくとも1つの目標商品のSKU情報および少なくとも1つの目標商品が置き戻された目標容器のコード化情報を取得する。画像識別モジュール52は、容器と商品との間の関連関係に基づいて、少なくとも1つの目標商品のSKU情報が目標容器のコード化情報と一致するかどうかを判断し、一致しなければ、商品の置き違いを示唆する。

いくつかの実施形態において、重量検出モジュール51は、計量装置と容器のコード化情報との間の対応関係を設定し、計量装置は、計量装置に対応する容器によって担持された商品の重量を検出するために用いられる。計量装置によって送信された重量検出信号に基づいて商品の重量が減少または増加したと判定されたとき、重量検出モジュール51は、商品の重量が減少または増加した容器のコード化情報および商品の重量の変化値を対応関係に従って判定する。

商品情報取得モジュール53は、容器のコード化情報および容器に配置された商品のSKU情報を取得し、コード化情報およびSKU情報に従って容器と商品との間の関連関係を確立する。商品情報取得モジュール53は、商品の重量が減少した容器のコード化情報を判定し、コード化情報および容器と商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品のSKU情報を判定する。商品情報取得モジュール53は、商品のSKU情報に対応する商品単位重量を取得し、商品単位重量および商品の重量の減少値に基づいて、少なくとも1つの取り上げられた商品の数量情報を判定する。

商品の重量が増加したと判定されたとき、商品情報取得モジュール53は、商品の重量の増加量を獲得し、商品単位重量が商品の重量の増加量と一致するかどうかを判断し、一致しなければ、商品の置き違いを示唆する。

図6は、本開示によるユーザによって購入された商品を識別するための装置のいくつかの他の実施形態を示す概略ブロック図であり、図6に示すように、この装置は、メモリ61、プロセッサ62、通信インターフェイス63、およびバス64を含むことができる。メモリ61は命令を格納するために用いられ、プロセッサ62はメモリ61に結合され、プロセッサ62は、メモリ61に格納された命令に基づいて、ユーザによって購入された商品を識別するための方法を実行するように構成されている。

メモリ61は、高速RAMメモリ、不揮発性メモリなどとすることができ、メモリ61はメモリアレイとすることができる。メモリ61はブロックに分割することもでき、これらのブロックは、いくつかの規則に従って仮想ボリュームに組み合わせることができる。プロセッサ62は、中央処理装置CPU、または特定用途向け集積回路(Application Specific Integrated Circuit: ASIC)、または本開示によるユーザによって購入された商品を識別するための方法を実施するように構成された1つまたは複数の集積回路とすることができる。

いくつかの実施形態において、本開示は、プロセッサによって実行されると、上の実施形態のいずれかによるユーザによって購入された商品を識別するための方法を実施するコンピュータ命令が格納されたコンピュータ可読記憶媒体をさらに提供する。当業者によって理解されるように、本開示の実施形態は、方法、装置、またはコンピュータプログラム製品として提供することができる。したがって、本開示は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとることができる。さらに、本開示は、コンピュータ利用可能なプログラムコードが具現化された1つまたは複数のコンピュータ利用可能な非一時的記憶媒体(ディスク記憶装置、CD-ROM、光学記憶装置などを含むがこれらに限定されない)上で具現化されるコンピュータプログラム製品の形をとることができる。

本開示は、本開示の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明されている。フローチャートおよび/またはブロック図の各ステップおよび/またはブロック、ならびにフローチャートおよび/またはブロック図のステップおよび/またはブロックの組み合わせをコンピュータプログラム命令によって実施することができるということが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込み処理機械、または他のプログラム可能データ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能データ処理装置のプロセッサによって実行される命令がフローチャートの1つまたは複数のステップおよび/またはブロック図における1つまたは複数のブロックにおいて指定された機能を実現するための装置を生成するような機械を生成することができる。

いくつかの実施形態において、図7A～図7Fに示すように、本開示は、棚枠、棚支持体などを含む棚本体751を含むインテリジェント棚システムを提供する。少なくとも1つの容器752が、商品を担持するために棚本体751に配置され、容器752はさまざまな形状の販売箱とすることができる。容器752の材料はプラスチックとすることができ、たとえば、容器752はアクリルで作製されている。

計量装置754は、容器752によって担持されたすべての商品の重量を検出する。第1のカメラ装置は、容器752に対応する監視領域において第1の監視画像を取得し、第1のカメラ装置は、カメラ、ビデオカメラなどとすることができる。ユーザによって購入された商品を識別するための装置71は、計量装置72および第1のカメラ装置73とそれぞれ電気的に接続され、第1の監視画像および計量装置によって送信された重量信号を取得し、第1の監視画像を識別してユーザ身分情報を獲得し、容器から取り上げられた商品の情報とユーザ身分情報を関連付けるように構成されている。

棚本体751には積層板753が配置され、容器752は積層板753上に配置され、計量装置754は、積層板753上の容器の下方に取り付けられ、計量装置754は容器752に対応して配置されている。各商品は容器752に配置され、これに対応する計量装置754が、容器752によって担持された商品の重量を獲得する。

計量取り付け部材755が、積層板753と容器752との間に配置され、積層板753に固定的に接続され、これは、ねじ接続、スナップ接続などとすることができる。計量装置754は、計量取り付け部材755に固定的に取り付けられている。計量取り付け部材755はさまざまな構成とすることができ、たとえば、計量取り付け部材755はI形状構成とすることができる。計量装置754は、I形状の計量取り付け部材755の内側にねじによって固定され、計量取り付け部材755は、容器752に対応する位置に配置されている。

いくつかの実施形態において、計量装置754は、ユーザによって購入された商品を識別するための装置71に接続された重量センサを含む。重量センサは、ユーザによって購入された商品を識別するための装置71に485バスなどを通して接続され、容器752によって担持された商品の重量を検出し、ユーザによって購入された商品を識別するための装置71に重量検出信号を送信することができる。

第2のカメラ装置74は、買い物場所において第2の監視画像を取得し、買い物場所は、販売領域、廊下、通路などを含み、第2のカメラ装置74は、カメラ、ビデオカメラなどとすることができる。ユーザによって購入された商品を識別するための装置71は、第2のカメラ装置74と電気的に接続されており、第2の監視画像にユーザを配置し、ユーザおよび新たなユーザ特徴情報に対応する追跡軌跡を獲得し、新たなユーザ特徴情報に基づいて、取り上げられた商品に対応するユーザ身分情報を判定するように構成されている。

示唆装置76が、ユーザによって購入された商品を識別するための装置71と電気的に接続されており、ユーザによって購入された商品を識別するための装置71によって送信された商品置き違い示唆情報を受信してユーザに示唆するように構成されている。示唆装置76は、ディスプレイ、スピーカなどを含み、音、文字情報などによって商品が置き違えられたことをユーザに示唆することができる。

上の実施形態におけるユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システムにおいては、容器によって担持された商品の重量が検出され、容器に対応する監視領域において取得された監視画像に対して画像認識を実行することによってユーザ身分情報が獲得され、商品の重量が減少したと判定されたとき、取り上げられた商品の情報が判定され、取り上げられた商品の情報とユーザ身分情報が関連付けられ、センサ技術と画像認識技術を組み合わせることによって、購入された商品の自動感知および商品情報のユーザ身分への自動紐付けが実現され、小売店における購入された商品の自動感知および商品の顧客への紐付けの問題を解決し、インテリジェント棚が担体として用いられ、ユーザによって購入された商品を自動的に感知することができるため、労働コストが節約され、識別は迅速かつ正確であり、買い物効率が向上し、商品をユーザに紐付けるためのユーザ動作は要求されず、したがって買い物体験が向上する。

本開示の方法およびシステムは、多くの方法で実施することができる。たとえば、本開示の方法およびシステムは、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせによって実施することができる。この方法のためのステップの上述の順序は、例示のみを目的としており、本開示の方法のステップは、特に明記しない限り、具体的に上述した順序に限定されない。また、いくつかの実施形態において、本開示は、記録媒体に記録されたプログラムとして具現化することもでき、これは、本開示による方法を実施するための機械可読命令を含む。したがって、本開示は、本開示による方法を実行するためのプログラムを格納する記録媒体もカバーする。

本開示の説明は、例示および説明の目的で提示されており、網羅的であること、または開示された形における開示に限定されることを意図していない。多くの修正および変形が当業者に明らかであろう。本開示の原理およびその実際の用途をよりよく説明するとともに、当業者が本開示を理解し、これによって特定の使用に適したさまざまな修正を伴うさまざまな実施形態を設計することができるように、実施形態を選択および説明した。

50 装置
51 重量検出モジュール
52 画像識別モジュール
53 商品情報取得モジュール
54 ユーザ身分識別モジュール
55 ユーザ商品紐付けモジュール
56 ユーザ行動追跡モジュール
61 メモリ
62 プロセッサ
63 通信インターフェイス
64 バス
71 装置
72 計量装置
73 第1のカメラ装置
74 第2のカメラ装置
76 示唆装置
751 棚本体
752 容器
753 積層板
754 計量装置
755 計量取り付け部材

Claims

ユーザによって購入された商品を識別するための装置が作動させる、ユーザによって購入された商品を識別するための方法であって、
容器に担持された商品の重量を取得するステップと、
前記容器に対応する監視領域において取得された第1の監視画像を取得し、前記第1の監視画像を識別して、識別結果を獲得するステップであって、前記識別結果はユーザ身分情報を含む、ステップと、
前記商品の前記重量が減少したと判定されたとき、前記容器に担持された少なくとも1つの商品が取り上げられた時間を取得し、前記商品の前記重量の変化値および前記容器と前記商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品の情報を判定するステップと、
前記容器に担持された前記少なくとも1つの商品が取り上げられた前記時間および前記識別結果に基づいて、前記少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得し、前記少なくとも1つの取り上げられた商品の前記情報と前記ユーザ身分情報を関連付けるステップと、
を含み、
前記容器に担持された前記少なくとも1つの商品が取り上げられた前記時間および前記識別結果に基づいて、前記少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得する前記ステップは、
前記容器に担持された前記少なくとも1つの商品が取り上げられた前記時間に基づいてユーザ身分識別期間を判定するステップと、
前記ユーザ身分識別期間に取得された前記第1の監視画像に対応する前記識別結果を目標識別結果として取得するステップと、
前記目標識別結果における前記ユーザ身分情報が空値でなければ、前記少なくとも1つの取り上げられた商品に対応する前記ユーザ身分情報として前記目標識別結果における前記ユーザ身分情報を取るステップと、
を含み、
当該方法が、
前記ユーザ身分情報およびユーザ特徴情報を取得し、前記ユーザ特徴情報と前記ユーザ身分情報との間に身分特徴関連関係を確立するステップと、
買い物場所において取得された第2の監視画像を取得し、前記ユーザ特徴情報に基づいて前記第2の監視画像に前記ユーザを配置して、前記ユーザに対応する追跡軌跡を取得するステップと、
前記ユーザ特徴情報が変化したと判定されたとき、新たなユーザ特徴情報に基づいて前記身分特徴関連関係を更新するステップと、
前記目標識別結果における前記ユーザ身分情報が空値であれば、前記ユーザ身分識別期間および前記身分特徴関連関係に従って、前記少なくとも1つの取り上げられた商品に対応する前記ユーザ身分情報を判定するステップと、
をさらに含む、方法。
前記ユーザ身分識別期間および前記身分特徴関連関係に従って、前記少なくとも1つの取り上げられた商品に対応する前記ユーザ身分情報を判定する前記ステップは、
前記ユーザ身分識別期間に取得された前記第1の監視画像を取得し、目標ユーザのユーザ特徴情報を前記第1の監視画像から抽出するステップと、
前記身分特徴関連関係における前記ユーザ特徴情報と前記目標ユーザの前記ユーザ特徴情報を比較するステップと、
成功した一致があれば、前記少なくとも1つの取り上げられた商品に対応する前記ユーザ身分情報として前記身分特徴関連関係における前記ユーザ身分情報を取るステップと、
を含む、請求項1に記載の方法。
前記第1の監視画像を識別して識別結果を獲得する前記ステップは、
前記ユーザ身分情報およびユーザ顔画像を取得するステップと、
前記ユーザ顔画像からユーザ顔特徴を抽出し、前記ユーザ顔特徴と前記ユーザ身分情報との間に顔特徴関連関係を確立するステップと、
前記第1の監視画像から顔特徴情報を抽出し、前記顔特徴情報と前記顔特徴関連関係における前記ユーザ顔特徴との間の類似度を算出するステップと、
前記類似度が予め設定された閾値より大きければ、前記第1の監視画像に対応する前記識別結果における前記ユーザ身分情報として前記顔特徴関連関係における前記ユーザ身分情報を取るステップと、
を含む、請求項1に記載の方法。
前記容器のコード化情報および前記容器に配置された前記商品のストックキーピングユニット情報を取得するステップと、
前記コード化情報および前記ストックキーピングユニット情報に従って前記容器と前記商品との間の関連関係を確立するステップと、
をさらに含む、請求項1に記載の方法。
前記商品の前記重量の変化値および前記容器と前記商品との間の関連関係に基づいて、前記少なくとも1つの取り上げられた商品の情報を判定する前記ステップは、
前記商品の前記重量が減少した前記容器の前記コード化情報を判定するとともに、前記コード化情報および前記容器と前記商品との間の前記関連関係に基づいて、前記取り上げられた商品の前記ストックキーピングユニット情報を判定するステップ、を含む、請求項4に記載の方法。
前記商品の前記重量の変化値および前記容器と前記商品との間の関連関係に基づいて、前記少なくとも1つの取り上げられた商品の情報を判定する前記ステップは、
前記商品の前記ストックキーピングユニット情報に対応する商品単位重量を取得するステップと、
前記商品単位重量および前記商品の前記重量の減少値に基づいて、前記少なくとも1つの取り上げられた商品の数量情報を判定するステップと、
をさらに含む、請求項4に記載の方法。
前記商品の前記重量が増加したと判定されたとき、前記商品の前記重量の増加量を獲得するステップと、
前記商品単位重量が前記商品の前記重量の前記増加量と一致するかどうかを判断し、一致しなければ、前記商品の置き違いを示唆するステップと、
をさらに含む、請求項6に記載の方法。
前記第1の監視画像における前記ユーザの動作行為および前記動作行為に対応する少なくとも1つの目標商品を識別するステップであって、前記動作行為は取り出し行為および置き戻し行為を含む、ステップと、
前記少なくとも1つの目標商品のストックキーピングユニット情報および前記少なくとも1つの目標商品が置き戻された目標容器のコード化情報を取得するステップと、
前記容器と前記商品との間の前記関連関係に基づいて、前記少なくとも1つの目標商品の前記ストックキーピングユニット情報が前記目標容器の前記コード化情報と一致するかどうかを判断するステップと、
一致しなければ、前記商品の置き違いを示唆するステップと、
をさらに含む、請求項4に記載の方法。
計量装置と前記容器のコード化情報との間の対応関係を設定するステップであって、前記計量装置は、前記計量装置に対応する前記容器によって担持された前記商品の前記重量を検出するために用いられる、ステップと、
前記計量装置によって送信された重量検出信号に基づいて、前記商品の前記重量が減少または増加したと判定されたとき、前記商品の前記重量が減少または増加した前記容器の前記コード化情報および前記商品の前記重量の前記変化値を前記対応関係に従って判定するステップと、
をさらに含む、請求項1に記載の方法。
ユーザによって購入された商品を識別するための装置であって、
容器に担持された商品の重量を取得するように構成された重量検出モジュールと、
前記容器に対応する監視領域において取得された第1の監視画像を取得し、前記第1の監視画像を識別して、識別結果を獲得するように構成され、前記識別結果はユーザ身分情報を含む、画像識別モジュールと、
前記商品の前記重量が減少したと判定されたとき、前記容器に担持された少なくとも1つの商品が取り上げられた時間を取得し、前記商品の前記重量の変化値および前記容器と前記商品との間の関連関係に基づいて、少なくとも1つの取り上げられた商品の情報を判定するように構成された商品情報取得モジュールと、
前記容器に担持された前記少なくとも1つの商品が取り上げられた前記時間および前記識別結果に基づいて、前記少なくとも1つの取り上げられた商品に対応するユーザ身分情報を獲得するように構成されたユーザ身分識別モジュールと、
前記少なくとも1つの取り上げられた商品の前記情報と前記ユーザ身分情報を関連付けるように構成されたユーザ商品紐付けモジュールと、
を含み、
前記ユーザ身分識別モジュールが、前記容器に担持された前記商品が取り上げられた前記時間に基づいてユーザ身分識別期間を判定し；前記ユーザ身分識別期間に取得された前記第1の監視画像に対応する前記識別結果を目標識別結果として取得し；前記目標識別結果における前記ユーザ身分情報が空値でなければ、前記取り上げられた商品に対応する前記ユーザ身分情報として前記目標識別結果における前記ユーザ身分情報を取るように構成されており、
当該装置が、ユーザ行動追跡モジュールをさらに備え、
前記ユーザ行動追跡モジュールが、前記ユーザ身分情報およびユーザ特徴情報を取得し、前記ユーザ特徴情報と前記ユーザ身分情報との間に身分特徴関連関係を確立し；買い物場所において取得された第2の監視画像を取得し、前記ユーザ特徴情報に基づいて前記第2の監視画像に前記ユーザを配置して、前記ユーザに対応する追跡軌跡を取得し；前記ユーザ特徴情報が変化したと判定されたとき、新たなユーザ特徴情報に基づいて前記身分特徴関連関係を更新するように構成されており、
前記ユーザ身分識別モジュールが、前記目標識別結果における前記ユーザ身分情報が空値であれば、前記ユーザ身分識別期間および前記身分特徴関連関係に従って、前記取り上げられた商品に対応する前記ユーザ身分情報を判定するようにさらに構成されている、装置。
ユーザによって購入された商品を識別するための装置であって、
メモリと、前記メモリに結合されたプロセッサと、を含み、前記プロセッサは、前記メモリに格納された命令に基づいて、請求項1から9のいずれか一項に記載のユーザによって購入された商品を識別するための方法を実行するように構成されている、装置。
1つまたは複数のプロセッサによって実行されると、請求項1から9のいずれか一項に記載の前記方法の前記ステップを実施するコンピュータプログラム命令が格納されたコンピュータ可読記憶媒体。
請求項11に記載のユーザによって購入された商品を識別するための装置を含むインテリジェント棚システム。
棚本体と、
商品を担持するために前記棚本体に配置された少なくとも1つの容器と、
前記容器によって担持された商品の重量を検出するように構成された計量装置と、
前記容器に対応する監視領域において第1の監視画像を取得するように構成された第1のカメラ装置と、
を含み、
ユーザによって購入された商品を識別するための前記装置は、前記計量装置および前記第1のカメラ装置とそれぞれ電気的に接続されており、前記第1の監視画像および前記計量装置によって送信された重量信号を取得するように構成されている、請求項13に記載のインテリジェント棚システム。
前記棚本体に配置された積層板をさらに含み、
前記容器は前記積層板上に配置され、前記計量装置は前記積層板上で前記容器の下方に取り付けられ、前記計量装置は前記容器に対応して配置されている、請求項14に記載のインテリジェント棚システム。
買い物場所において第2の監視画像を取得するように構成された第2のカメラ装置をさらに含み、ユーザによって購入された商品を識別するための前記装置は、前記第2のカメラ装置と電気的に接続されており、前記第2の監視画像を取得するようにさらに構成されている、請求項14に記載のインテリジェント棚システム。
ユーザによって購入された商品を識別するための前記装置と電気的に接続されており、ユーザによって購入された商品を識別するための前記装置によって送信された商品置き違い示唆情報を受信して前記ユーザに示唆するように構成された、示唆装置をさらに含む、請求項14に記載のインテリジェント棚システム。