JP2009289233A - 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 - Google Patents
商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 Download PDFInfo
- Publication number
- JP2009289233A JP2009289233A JP2008144248A JP2008144248A JP2009289233A JP 2009289233 A JP2009289233 A JP 2009289233A JP 2008144248 A JP2008144248 A JP 2008144248A JP 2008144248 A JP2008144248 A JP 2008144248A JP 2009289233 A JP2009289233 A JP 2009289233A
- Authority
- JP
- Japan
- Prior art keywords
- customer
- line
- data
- sight
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
Abstract
【解決手段】処理対象フレーム指定部26は、購買動作判定部25により購買動作の終了が検知されたとき、映像データ記憶部31に蓄積された顧客の購買動作の映像フレームの中から、視線検出の対象となる映像フレームを所定の間隔ごとに選択する。視線判定部22は、前記選択された映像フレームに対して、その映像フレームに含まれる顧客の顔の状態を解析して、顧客の視線を検出し、検出した視線の視線データを作成し、視線データ記憶部32に蓄積する。従って、視線データ作成の対象となる映像フレームは削減され、また、視線データの作成は、顧客の購買動作終了後に行われる。よって、安価な高性能でないプロセッサが利用可能となる。
【選択図】図3
Description
図1は、本発明の実施形態に係る商品販売装置の外観および内部構成の概略を示した図である。図1に示すように、商品販売装置1は、例えば、たばこなど小物商品の自動販売装置であり、その筐体の前面には、サンプル表示部20、商品ボタン12、入金口30、取出口40などが設けられ、また、その筐体の内部には、情報処理装置10、カメラ11、入金センサ13、取出口センサ14、距離センサ15、人感センサ16、などが設けられている。
図3は、本発明の実施形態に係る商品販売管理システムの機能ブロックの構成の例を示した図である。図3に示すように、商品販売管理システム100は、販売管理センタ装置5にネットワーク4を介して1つ以上の商品販売装置1が接続されて構成される。図3では、商品販売装置1は1つしか示されていないが、多くの場合は、複数の商品販売装置1がネットワーク4を介して1つの販売管理センタ装置5に接続される。
商品販売装置1の機能は、その内部に含まれる情報処理装置10によって実現される。以下、情報処理装置10を構成する機能ブロックの機能について、図3および図4を参照して説明する。ここで、図4は、情報処理装置10の各記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図である。
販売管理センタ装置5の機能は、その内部に含まれる情報処理装置50によって実現される。以下、情報処理装置50を構成する機能ブロックの機能について、図3および図10を参照して説明する。ここで、図10は、情報処理装置50の記憶機能ブロックに蓄積されるデータのレコード構成の例を示した図である。
以上に説明した実施形態においては、商品販売装置1は、たばこや飲料などの自動販売機を想定しているが、商品販売装置1は、自動販売機に限定されることなく、商品販売装置1がスーパーやコンビニなどにおける立壁状の商品陳列棚や箱状の商品陳列ケースなどであってもよい。
4 ネットワーク
5 販売管理センタ装置
10 情報処理装置
11 カメラ
12 商品ボタン
13 入金センサ
14 取出口センサ
15 距離センサ
16 人感センサ
17 通信装置
19 メッシュ
20 サンプル表示部
21 映像取得部
22 視線データ取得部
23 センサデータ取得部
24 購買者像検知部
25 購買動作判定部
26 処理対象フレーム指定部
27 映像データ削除部
28 データ送受信部
30 入金口
31 映像データ記憶部
32 視線データ記憶部
33 顧客購買データ記憶部
34 処理判定区分データ記憶部
40 取出口
50 情報処理装置
51 表示端末
52 通信装置
61 データ収集部
62 注視対象検出処理部
63 販売データ集計部
64 商品別注視・集計データ出力部
72 視線データ記憶部
73 顧客購買データ記憶部
74 商品配置データ記憶部
75 注視履歴データ記憶部
76 商品別注視・販売集計データ記憶部
77 メッシュ定義データ記憶部
100 商品販売管理システム
222 顔検知部
223 顔特徴量計算部
224 視線検出部
225 視線位置検出部
Claims (12)
- 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、CPUおよび記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置であって、
前記CPUは、
前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記記憶装置に蓄積する視線データ取得処理と、
を実行すること
を特徴とする商品販売装置。 - 前記処理区分データは、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から前記視線検出の対象となるフレーム映像を選択するためのフレーム間隔を指定するデータを含んで構成され、
前記フレーム間隔を指定するデータは、固定のフレーム間隔を指定するデータ、固定の時間間隔を指定するデータ、および、可変のフレーム間隔を指定するデータのいずれかの1つであること
を特徴とする請求項1に記載の商品販売装置。 - 前記フレーム間隔を指定するデータが前記可変のフレーム間隔を指定するデータであったときには、その可変のフレーム間隔は、
前記カメラにより撮影されたフレーム映像において移動物体として検出される前記顧客の像の時間変動量に依存する量であること
を特徴とする請求項2に記載の商品販売装置。 - 前記処理区分データは、さらに、前記視線データ取得処理の処理順を定めるための処理区分閾値を含んで構成され、
前記CPUは、
前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値未満であるときには、前記視線データ取得処理を前記フレーム映像の時系列順に実行し、
前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値以上であるときには、前記視線データ取得処理を前記フレーム映像の逆時系列順に実行すること
を特徴とする請求項2に記載の商品販売装置。 - 前記CPUは、
前記処理対象フレーム指定処理により視線検出の対象に指定されたすべてのフレーム映像について、前記視線データ取得処理を完了したときには、
その完了のときまでに前記記憶装置に蓄積されている前記カメラにより撮影されたフレーム映像をすべて削除すること
を特徴とする請求項1に記載の商品販売装置。 - 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、第1のCPUおよび第1の記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記第1の記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置と、
第2のCPUおよび第2の記憶装置を含んでなり、その第2の記憶装置に、前記商品販売装置の前記商品配置部における各商品またはそのサンプルを配置する空間領域を定義した商品配置領域定義データを蓄積し、通信ネットワークを介して前記商品販売装置から送信された前記顧客の視線データに基づき、前記顧客の注視商品データを取得する販売管理センタ装置と、
を含んで構成された商品販売管理システムであって、
前記第1のCPUは、
前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記第1の記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記第1の記憶装置に蓄積する視線データ取得処理と、
前記蓄積した視線データを、前記通信ネットワークを介して、前記販売管理センタ装置に送信するデータ送信処理と、
を実行し、
前記第2のCPUは、
前記商品販売装置から送信される前記視線データを受信するデータ受信処理と、
前記受信した視線データのうち、特定の顧客に属する時系列の視線データから、その視線データに含まれる、前記視線が前記商品配置部と交わる位置座標、および、前記商品配置領域定義データに基づき、前記視線が所定の時間以上留まる前記商品配置部における商品配置領域を検出し、その検出された商品配置領域に対応付けられた商品識別情報により、前記顧客が注視する注視対象商品を検出する注視商品検出処理と、
を実行すること
を特徴とする商品販売管理システム。 - 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、CPUおよび記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置における顧客視線データ取得方法であって、
前記CPUは、
前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記記憶装置に蓄積する視線データ取得処理と、
を実行すること
を特徴とする顧客視線データ取得方法。 - 前記処理区分データは、前記記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から前記視線検出の対象となるフレーム映像を選択するためのフレーム間隔を指定するデータを含んで構成され、
前記フレーム間隔を指定するデータは、固定のフレーム間隔を指定するデータ、固定の時間間隔を指定するデータ、および、可変のフレーム間隔を指定するデータのいずれかの1つであること
を特徴とする請求項7に記載の顧客視線データ取得方法。 - 前記フレーム間隔を指定するデータが前記可変のフレーム間隔を指定するデータであったときには、その可変のフレーム間隔は、
前記カメラにより撮影されたフレーム映像において移動物体として検出される前記顧客の像の時間変動量に依存する量であること
を特徴とする請求項8に記載の顧客視線データ取得方法。 - 前記処理区分データは、さらに、前記視線データ取得処理の処理順を定めるための処理区分閾値を含んで構成され、
前記CPUは、
前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値未満であるときには、前記視線データ取得処理を前記フレーム映像の時系列順に実行し、
前記顧客の購買動作の開始から終了までの時間が、前記処理区分閾値以上であるときには、前記視線データ取得処理を前記フレーム映像の逆時系列順に実行すること
を特徴とする請求項8に記載の顧客視線データ取得方法。 - 前記CPUは、
前記処理対象フレーム指定処理により視線検出の対象に指定されたすべてのフレーム映像について、前記視線データ取得処理を完了したときには、
その完了のときまでに前記記憶装置に蓄積されている前記カメラにより撮影されたフレーム映像をすべて削除すること
を特徴とする請求項1に記載の顧客視線データ取得方法。 - 販売中の商品またはそのサンプルを顧客に識別可能なように区分して配置する商品配置部と、前記顧客が前記商品配置部に配置された商品またはそのサンプルを見て前記商品を購買する前記顧客の購買動作を撮影するカメラと、第1のCPUおよび第1の記憶装置を含んでなり、前記カメラにより撮影された前記顧客の購買動作のフレーム映像を前記第1の記憶装置に蓄積するとともに、前記フレーム映像に対して所定の画像処理を行う情報処理装置と、を備えた商品販売装置と、
第2のCPUおよび第2の記憶装置を含んでなり、その第2の記憶装置に、前記商品販売装置の前記商品配置部における各商品またはそのサンプルを配置する空間領域を定義した商品配置領域定義データを蓄積し、通信ネットワークを介して前記商品販売装置から送信された前記顧客の視線データに基づき、前記顧客の注視商品データを取得する販売管理センタ装置と、
を含んで構成された商品販売管理システムにおける顧客注視商品データ取得方法であって、
前記第1のCPUは、
前記カメラにより撮影されたフレーム映像に含まれる前記顧客の映像に基づき、前記顧客の購買動作の開始および終了を判定する購買動作判定処理と、
前記購買動作判定処理により前記購買動作の終了を検知したとき、あらかじめ設定された処理区分データに基づき、前記第1の記憶装置に蓄積された前記顧客の購買動作のフレーム映像の中から、視線検出の対象とするフレーム映像を選択して指定する処理対象フレーム指定処理と、
前記処理対象フレーム指定処理により視線検出の対象に指定されたフレーム映像について、そのフレーム映像に含まれる顧客の顔の状態を解析して、前記顧客の視線を検出し、さらに、前記検出された顧客の視線について、その視線が前記商品配置部と交わる位置座標を求め、その位置座標を含むデータを視線データとして前記第1の記憶装置に蓄積する視線データ取得処理と、
前記蓄積した視線データを、前記通信ネットワークを介して、前記販売管理センタ装置に送信するデータ送信処理と、
を実行し、
前記第2のCPUは、
前記商品販売装置から送信される前記視線データを受信するデータ受信処理と、
前記受信した視線データのうち、特定の顧客に属する時系列の視線データから、その視線データに含まれる、前記視線が前記商品配置部と交わる位置座標、および、前記商品配置領域定義データに基づき、前記視線が所定の時間以上留まる前記商品配置部における商品配置領域を検出し、その検出された商品配置領域に対応付けられた商品識別情報により、前記顧客が注視する注視対象商品を検出する注視商品検出処理と、
を実行すること
を特徴とする顧客注視商品データ取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008144248A JP5108635B2 (ja) | 2008-06-02 | 2008-06-02 | 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008144248A JP5108635B2 (ja) | 2008-06-02 | 2008-06-02 | 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009289233A true JP2009289233A (ja) | 2009-12-10 |
JP5108635B2 JP5108635B2 (ja) | 2012-12-26 |
Family
ID=41458354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008144248A Expired - Fee Related JP5108635B2 (ja) | 2008-06-02 | 2008-06-02 | 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5108635B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117252662A (zh) * | 2023-09-28 | 2023-12-19 | 南京有春网络科技有限公司 | 一种基于vr技术的数字化商场购物*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124603A (ja) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | 情報表示装置及び情報収集装置 |
JP2000115752A (ja) * | 1998-10-05 | 2000-04-21 | Seiko Epson Corp | 自動販売機とその制御方法 |
JP2003150306A (ja) * | 2002-11-14 | 2003-05-23 | Toshiba Corp | 情報表示装置とその方法 |
JP2006209550A (ja) * | 2005-01-28 | 2006-08-10 | Brother Ind Ltd | 情報提供装置、情報提供システム及び自動販売機 |
JP2006217070A (ja) * | 2005-02-01 | 2006-08-17 | Matsushita Electric Ind Co Ltd | 監視記録装置 |
JP2006293786A (ja) * | 2005-04-12 | 2006-10-26 | Biophilia Kenkyusho Kk | 視線入力装置を備えた市場調査用機器 |
JP2009042956A (ja) * | 2007-08-08 | 2009-02-26 | Hitachi Ltd | 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム |
JP2009151408A (ja) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム |
-
2008
- 2008-06-02 JP JP2008144248A patent/JP5108635B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124603A (ja) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | 情報表示装置及び情報収集装置 |
JP2000115752A (ja) * | 1998-10-05 | 2000-04-21 | Seiko Epson Corp | 自動販売機とその制御方法 |
JP2003150306A (ja) * | 2002-11-14 | 2003-05-23 | Toshiba Corp | 情報表示装置とその方法 |
JP2006209550A (ja) * | 2005-01-28 | 2006-08-10 | Brother Ind Ltd | 情報提供装置、情報提供システム及び自動販売機 |
JP2006217070A (ja) * | 2005-02-01 | 2006-08-17 | Matsushita Electric Ind Co Ltd | 監視記録装置 |
JP2006293786A (ja) * | 2005-04-12 | 2006-10-26 | Biophilia Kenkyusho Kk | 視線入力装置を備えた市場調査用機器 |
JP2009042956A (ja) * | 2007-08-08 | 2009-02-26 | Hitachi Ltd | 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム |
JP2009151408A (ja) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117252662A (zh) * | 2023-09-28 | 2023-12-19 | 南京有春网络科技有限公司 | 一种基于vr技术的数字化商场购物*** |
CN117252662B (zh) * | 2023-09-28 | 2024-03-26 | 南京有春网络科技有限公司 | 一种基于vr技术的数字化商场购物*** |
Also Published As
Publication number | Publication date |
---|---|
JP5108635B2 (ja) | 2012-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4991440B2 (ja) | 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム | |
US10347070B2 (en) | Investigation generation in an observation and surveillance system | |
CN110033298B (zh) | 信息处理设备及其控制方法、***和存储介质 | |
TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
WO2017085771A1 (ja) | 精算支援システム、精算支援プログラム、及び精算支援方法 | |
JP2024051084A (ja) | 店舗装置、店舗システム、店舗管理方法、プログラム | |
JP2017033401A (ja) | 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法 | |
JP5002441B2 (ja) | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム | |
JP2011253344A (ja) | 購買行動分析装置、購買行動分析方法、およびプログラム | |
CN108764998B (zh) | 智能展示装置以及智能展示方法 | |
JP5192842B2 (ja) | 注視商品データ取得方法および商品販売管理システム | |
TW201928816A (zh) | 資料對象資訊處理方法、裝置及系統 | |
CN113887884A (zh) | 商超服务*** | |
CN111260685B (zh) | 视频处理方法、装置及电子设备 | |
CN108171286B (zh) | 无人售货方法及其*** | |
JP6886537B1 (ja) | 顧客情報収集端末、顧客情報収集システム及び顧客情報収集方法 | |
JP5027637B2 (ja) | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム | |
JP5108635B2 (ja) | 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 | |
WO2019192455A1 (zh) | 门店***、物品搭配方法、装置及电子设备 | |
WO2021181597A1 (ja) | 認知度推定装置、認知度推定方法、及び、記録媒体 | |
WO2020050862A1 (en) | Determining sentiments of customers and employees | |
JP7041760B2 (ja) | データ処理方法、機器および記憶媒体 | |
WO2018042549A1 (ja) | 被写体情報表示システム、被写体情報表示方法及びプログラム | |
CN114967922A (zh) | 信息展示方法、装置、电子设备及存储介质 | |
CN112989988A (zh) | 信息整合方法、装置、设备、可读存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120911 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5108635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |