JP2021182401A - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2021182401A JP2021182401A JP2021112372A JP2021112372A JP2021182401A JP 2021182401 A JP2021182401 A JP 2021182401A JP 2021112372 A JP2021112372 A JP 2021112372A JP 2021112372 A JP2021112372 A JP 2021112372A JP 2021182401 A JP2021182401 A JP 2021182401A
- Authority
- JP
- Japan
- Prior art keywords
- product
- shelf
- customer
- information
- index value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000010365 information processing Effects 0.000 title claims description 11
- 238000012545 processing Methods 0.000 title claims description 11
- 238000003672 processing method Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 description 68
- 238000005259 measurement Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
- A47F5/08—Show stands, hangers, or shelves characterised by their constructional features secured to the wall, ceiling, or the like; Wall-bracket display devices
- A47F5/0807—Display panels, grids or rods used for suspending merchandise or cards supporting articles; Movable brackets therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F3/00—Show cases or show cabinets
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Controls And Circuits For Display Device (AREA)
- Display Racks (AREA)
- Computer Hardware Design (AREA)
Abstract
【課題】顧客の行動を示す情報をより詳細に表示できるようにする。【解決手段】画像表示装置が、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する取得部と、前記位置に対応する商品の情報と前記位置の情報とに基づいて、前記顧客が前記位商品に手を伸ばした累積回数を集計する集計部と、前記棚における前記商品の位置に対応させて、集計された前記累積回数に基づく表示を行う表示部と、を備える。【選択図】図1
Description
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
顧客の購買特性を把握する等の目的で店舗における顧客の行動を分析する場合がある。例えば、特許文献1には、陳列棚毎に顧客の周辺エリア滞在時間及び商品取得回数を集計し表示することが記載されている。
顧客の行動分析をより高度に行う観点から、陳列棚毎に顧客の周辺エリア滞在時間及び商品取得回数を集計し表示するよりも詳細な表示が望まれる。
本発明は、上述の課題を解決することのできる情報処理システム、情報処理方法及びプログラムを提供することを目的としている。
本発明の第1の態様によれば、画像表示装置は、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する取得部と、前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、顧客が前記商品に手を伸ばした累積回数を集計する集計部と、前記棚における前記商品の位置に対応させて、集計された前記累積回数に基づく表示を行う表示部と、を備える。
本発明の第2の態様によれば、画像表示方法では、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得し、前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、顧客が前記商品に手を伸ばした累積回数を集計し、前記棚における前記商品の位置に対応させて、集計された前記累積回数に基づく表示を行う。
本発明の第3の態様によれば、プログラムは、コンピュータに、複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する処理と、前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、顧客が前記商品に手を伸ばした累積回数を集計する処理と、前記棚における前記商品の位置に対応させて、集計された前記累積回数に基づく表示を行う処理と、を実行させるためのプログラムである。
この発明によれば、顧客の行動を示す情報をより詳細に表示することができる。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る画像表示システムの機能構成を示す概略ブロック図である。同図に示すように、画像表示システム1は、棚前行動計測用センサ110と、棚状況撮影装置120と、画像表示装置200とを備える。画像表示装置200は、通信部210と、表示部220と、操作入力部230と、記憶部280と、制御部290とを備える。制御部290は、接近状況情報取得部291と、対応付け部292と、指標値算出部293とを備える。
図1は、本発明の一実施形態に係る画像表示システムの機能構成を示す概略ブロック図である。同図に示すように、画像表示システム1は、棚前行動計測用センサ110と、棚状況撮影装置120と、画像表示装置200とを備える。画像表示装置200は、通信部210と、表示部220と、操作入力部230と、記憶部280と、制御部290とを備える。制御部290は、接近状況情報取得部291と、対応付け部292と、指標値算出部293とを備える。
画像表示システム1は、顧客の棚前行動を分析し分析結果を棚の画像に重ねて表示する。ここでいう棚前は、商品陳列棚の前(特に、前面付近)であり、ここでいう棚前行動は、顧客が商品陳列棚の前で行う行動である。以下では商品陳列棚を単に棚と称する。
棚前行動計測用センサ110は、棚前行動を検出するために設けられたセンサである。棚前行動計測用センサ110として、例えば棚の前面の上方から下方に向けて設けられた距離センサを用いることができる。顧客が棚に手を伸ばした場合に、棚前行動計測用センサ110が棚前における顧客の手の水平方向の位置及び垂直方向の位置を検出することで、画像表示装置200は、顧客が手を伸ばした商品を推定することができる。
棚前行動計測用センサ110は、棚前行動を検出するために設けられたセンサである。棚前行動計測用センサ110として、例えば棚の前面の上方から下方に向けて設けられた距離センサを用いることができる。顧客が棚に手を伸ばした場合に、棚前行動計測用センサ110が棚前における顧客の手の水平方向の位置及び垂直方向の位置を検出することで、画像表示装置200は、顧客が手を伸ばした商品を推定することができる。
棚状況撮影装置120は、棚の前方に設けられて動画像又は静止画像を撮影するカメラを備え、連続的に或いは所定時間間隔毎に、棚前の様子及び棚の様子を撮影する。
棚状況撮影装置120が撮影する画像により、画像表示装置200は、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出することができる。これにより、画像表示装置200は、顧客が棚前に立ち寄ってから立ち去るまでに行われた棚への手伸ばしを、同一顧客による一連の手伸ばしとして検出することができる。
また、画像表示装置200は、顧客が棚へ手を伸ばした前後の画像を比較することで、顧客が商品を手に取ったこと、及び、顧客が手に取った商品を棚に戻したことを検出することができる。
棚状況撮影装置120が撮影する画像により、画像表示装置200は、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出することができる。これにより、画像表示装置200は、顧客が棚前に立ち寄ってから立ち去るまでに行われた棚への手伸ばしを、同一顧客による一連の手伸ばしとして検出することができる。
また、画像表示装置200は、顧客が棚へ手を伸ばした前後の画像を比較することで、顧客が商品を手に取ったこと、及び、顧客が手に取った商品を棚に戻したことを検出することができる。
ここで、図2及び図3を参照して棚前行動計測用センサ110及び棚状況撮影装置120の配置の例について説明する。
図2は、棚を横から見た場合の棚前行動計測用センサ110及び棚状況撮影装置120の配置例を示す説明図である。同図の例で棚前行動計測用センサ110は、棚910の全面の上方の天井930から下方に向けて設置されている。棚910は複数段の棚であり、それぞれの段に商品920が置かれている。顧客が棚910に手を伸ばした際、棚前行動計測用センサ110が棚前行動計測用センサ110自らと手との距離を測定する。測定された距離を用いることで、画像表示装置200は、顧客が棚910の何段目に手を伸ばしたかを判定することができる。
図2は、棚を横から見た場合の棚前行動計測用センサ110及び棚状況撮影装置120の配置例を示す説明図である。同図の例で棚前行動計測用センサ110は、棚910の全面の上方の天井930から下方に向けて設置されている。棚910は複数段の棚であり、それぞれの段に商品920が置かれている。顧客が棚910に手を伸ばした際、棚前行動計測用センサ110が棚前行動計測用センサ110自らと手との距離を測定する。測定された距離を用いることで、画像表示装置200は、顧客が棚910の何段目に手を伸ばしたかを判定することができる。
棚状況撮影装置120のカメラは、棚910の前方の天井930から棚910を撮影する位置及び向きに設置されている。例えば、棚状況撮影装置120が1台のカメラを備え、当該カメラを棚910の前面全体を撮影できる位置及び向きに設置する。あるいは、1台のカメラで棚910の前面全体を撮影できない場合は、棚状況撮影装置120が複数台のカメラを備えるようにしてもよい。
図3は、棚を前から見た場合の棚前行動計測用センサ110の配置例を示す説明図である。同図の例で棚前行動計測用センサ110は、棚910の幅方向に沿って天井930に複数配置されている。顧客が棚910に手を伸ばした際、画像表示装置200は、手を検出した棚前行動計測用センサ110を特定することで棚910の水平方向における手の位置を判定することができる。
但し、棚前行動計測用センサ110は、顧客が棚910に手を伸ばした際に棚910の鉛直方向における手の位置、及び、棚910の水平方向における手の位置を検出可能であればよい。例えば、棚前行動計測用センサ110として1セットの3次元カメラが棚910の前面の上方に設置されて棚の前面を鉛直方向に撮像するようにしてもよい。
棚前行動計測用センサ110の設置位置は、棚910の上方に限らない。例えば、棚前行動計測用センサ110が棚910の側方に設置されて棚910の前面を横向きにセンシングするようにしてもよい。
棚前行動計測用センサ110の設置位置は、棚910の上方に限らない。例えば、棚前行動計測用センサ110が棚910の側方に設置されて棚910の前面を横向きにセンシングするようにしてもよい。
画像表示装置200は、棚前行動計測用センサ110からのセンシングデータに基づいて棚前行動を分析する。
具体的には、図2及び図3を参照して説明したように、顧客が棚910に手を伸ばした際、画像表示装置200は、棚前行動計測用センサ110からのセンシングデータに基づいて、棚910の鉛直方向における手の位置、及び、棚910の水平方向における手の位置を検出する。また、画像表示装置200は、棚910における商品920の配置を予め記憶しており、顧客の手の位置に基づいて顧客が手を伸ばした商品を推定する。画像表示装置200は、例えば商品毎に顧客が手を伸ばした回数を計数し、計数結果(例えば、所定期間内における全顧客の集計値)を棚910の画像に重ねて表示する。
画像表示装置200は、例えばコンピュータを用いて構成される。
具体的には、図2及び図3を参照して説明したように、顧客が棚910に手を伸ばした際、画像表示装置200は、棚前行動計測用センサ110からのセンシングデータに基づいて、棚910の鉛直方向における手の位置、及び、棚910の水平方向における手の位置を検出する。また、画像表示装置200は、棚910における商品920の配置を予め記憶しており、顧客の手の位置に基づいて顧客が手を伸ばした商品を推定する。画像表示装置200は、例えば商品毎に顧客が手を伸ばした回数を計数し、計数結果(例えば、所定期間内における全顧客の集計値)を棚910の画像に重ねて表示する。
画像表示装置200は、例えばコンピュータを用いて構成される。
通信部210は、他機器との通信を行う。通信部210は棚前行動計測用センサ110からセンシングデータを受信する。また、通信部210は、棚状況撮影装置120が撮影した画像を画像データにて受信する。
表示部220は、例えば液晶パネル又はLED(Light-Emitting Diode)パネル等の表示画面を有し、制御部290の制御に従って各種画像を表示する。表示部220は、商品に顧客が手を伸ばした回数の計数結果などの顧客行動指標値を、棚910の画像に重ねて表示する。ここでいう顧客行動指標値は、顧客の行動に関して指標値算出部293が算出した指標値である。
表示部220は、例えば液晶パネル又はLED(Light-Emitting Diode)パネル等の表示画面を有し、制御部290の制御に従って各種画像を表示する。表示部220は、商品に顧客が手を伸ばした回数の計数結果などの顧客行動指標値を、棚910の画像に重ねて表示する。ここでいう顧客行動指標値は、顧客の行動に関して指標値算出部293が算出した指標値である。
図4は、表示部220による顧客行動指標値の表示例を示す説明図である。同図の例で、表示部220は、商品920が並べられた棚910の像を領域A11に表示している。また、表示部220は、商品の像に顧客が当該商品に手を伸ばした回数に応じた色を付して表示している。また、表示部220は、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域A12に表示している。表示部220は、顧客が商品に手を伸ばした回数をヒートマップ風に示している。ここでいうヒートマップとは、行列の各要素の値を色で示す表示方法である。
顧客が商品に手を伸ばした回数は顧客行動指標値の例に該当する。表示部220は、棚910の画像における商品920の像の位置に、当該商品の像に付した色にて顧客行動指標値を表示している。この点で、表示部220は、顧客行動指標値を商品の画像とともに表示する。
但し、表示部220が顧客行動指標値を表示する方法は、商品の像に色を付す方法に限らない。例えば、表示部220が、色に代えてストライプ又はドット等の所定のパタンを商品の像に付すことで顧客行動指標値を表示するようにしてもよい。表示部220が、顧客行動指標値を示す数字を商品の像に重ねて表示するようにしてもよい。
但し、表示部220が顧客行動指標値を表示する方法は、商品の像に色を付す方法に限らない。例えば、表示部220が、色に代えてストライプ又はドット等の所定のパタンを商品の像に付すことで顧客行動指標値を表示するようにしてもよい。表示部220が、顧客行動指標値を示す数字を商品の像に重ねて表示するようにしてもよい。
また、表示部220は、画像表示システム1のユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す指標値を、棚910の画像における商品920の像の位置に表示する。以下では、画像表示システム1のユーザを単にユーザと称する。
図5は、画像表示システム1のユーザが指定した商品に対して顧客が行う行動と、同一の顧客が他の商品に対して行う行動との相関性を示す顧客行動指標値の、表示部220による表示例を示す説明図である。図4の例と同様図5の例でも、表示部220は、商品920が並べられた棚910の像を領域A11に表示している。また、顧客が商品に手を伸ばした回数と色との対応付けを示す凡例を領域A12に表示している。
図4の場合と異なり図5では、表示部220は、ユーザが指定(選択)した商品920を表示している。図5の例では、ユーザは、領域A21に示す商品920を指定しており、表示部220は、領域A21にストライプを表示することで、指定された商品920を表示している。以下では、ユーザが指定した商品920を指定商品と称する。
図5の例では、表示部220は、指定商品に(1度以上)手を伸ばした顧客が、指定商品以外の商品920に手を伸ばした回数の計数結果(例えば、所定期間内における全顧客の集計値)をヒートマップ風に示している。具体的には、表示部220は、指定商品に(1度以上)手を伸ばした顧客が、指定商品以外の商品920に手を伸ばした回数に応じた色を、商品920毎に当該商品920の像に付して表示している。図5の例では、領域A21に表示された商品(指定商品)に手を伸ばした顧客が、領域A22に表示された商品に手を伸ばした回数が多かったため、表示部220は、領域A22の商品920の像に、手を伸ばした回数が多いことを示す色を付して表示している。
操作入力部230は、例えばキーボード及びマウスなどの入力デバイスを備え、ユーザ操作を受ける。操作入力部230は商品指定受付部の例に該当し、商品の指定を受ける。例えば、表示部220が表示している商品920をマウスクリックするユーザ操作にて、当該商品の指定を受ける。
記憶部280は、各種情報を記憶する。記憶部280は、棚前行動計測用センサ110により得られるセンシングデータ、又は、制御部290が当該センシングデータを加工したデータを記憶する。例えば、記憶部280は、顧客が手を伸ばした商品920を示す商品識別情報と、棚前行動計測用センサ110が当該顧客の手を検出した時刻とを対応付けた情報(後述する「対応付け後情報」)を記憶する。さらに、記憶部280は、顧客が手を伸ばした商品920を示す商品識別情報と、棚前行動計測用センサ110が当該顧客の手を検出した時刻とを対応付けた情報を、顧客が棚前に立ち寄ってから棚前を立ち去るまでの期間について同一顧客による一連の手伸ばしの情報として記憶する。
ここでいう商品識別情報は、棚910に置かれた商品920を商品毎に識別する情報である。なお、本実施形態では、同一の仕様の商品(例えば、同一の名前の商品)を同一の商品とみなす。商品識別情報として商品名など予め定められた情報を用いるようにしてもよいし、画像表示システム1専用の識別情報を定めておくようにしてもよい。
ここでいう商品識別情報は、棚910に置かれた商品920を商品毎に識別する情報である。なお、本実施形態では、同一の仕様の商品(例えば、同一の名前の商品)を同一の商品とみなす。商品識別情報として商品名など予め定められた情報を用いるようにしてもよいし、画像表示システム1専用の識別情報を定めておくようにしてもよい。
図6は、記憶部280が記憶するセンシング時刻と商品識別情報とを対応付けた情報(後述する対応付け後情報)のデータ構造の例を示す説明図である。同図に示すように、記憶部280は、グループ番号と、センシング時刻と、商品識別情報とを対応付けて記憶する。
図6の例で、商品識別情報は、棚前行動計測用センサ110によるセンシングデータに基づいて特定された、顧客が手を伸ばした商品920を示す。
図6の例で、商品識別情報は、棚前行動計測用センサ110によるセンシングデータに基づいて特定された、顧客が手を伸ばした商品920を示す。
センシング時刻は、棚前行動計測用センサ110が当該センシングデータに示される物体の検出を行った時刻を示す。例えば、センシング時刻として通信部210がセンシングデータを受信した時刻を用いるようにしてもよい。
グループ番号は、顧客が棚前に立ち寄ってから棚前を立ち去るまでに検出された一連の手伸ばしを1つのグループに纏めるための情報として用いられる。画像表示装置200は、棚状況撮影装置120が撮影した画像に基づいて、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出し、この期間に棚前行動計測用センサ110が送信したセンシングデータに基づく情報(センシング時刻と商品識別情報との組み合わせ)に同一のグループ番号を付す。これにより、図5の例のように、同一の顧客が棚910に複数回手を伸ばしたことを検出することができる。
グループ番号は、顧客が棚前に立ち寄ってから棚前を立ち去るまでに検出された一連の手伸ばしを1つのグループに纏めるための情報として用いられる。画像表示装置200は、棚状況撮影装置120が撮影した画像に基づいて、顧客が棚前に立ち寄ってから棚前を立ち去るまでのタイミングを検出し、この期間に棚前行動計測用センサ110が送信したセンシングデータに基づく情報(センシング時刻と商品識別情報との組み合わせ)に同一のグループ番号を付す。これにより、図5の例のように、同一の顧客が棚910に複数回手を伸ばしたことを検出することができる。
但し、記憶部280が記憶する情報は、図6の例に示すセンシング時刻と商品識別情報とを対応付けた情報に限らない。例えば、記憶部280が、棚前行動計測用センサ110によるセンシングデータとセンシング時刻を示す時刻情報とを対応付けて記憶するようにしてもよい。あるいは、記憶部280が、棚前行動計測用センサ110によるセンシングデータを棚910における垂直方向の位置及び水平方向の位置に変換した情報を座標値の形式で記憶するようにしてもよい。あるいは、記憶部280が、商品920毎に、顧客が当該商品に手を伸ばした回数を示す情報を記憶するようにしてもよい。
記憶部280は、棚状況撮影装置120が撮影した画像を、撮影時刻と対応付けて時系列に記憶する。
記憶部280は、画像表示装置200が備える記憶デバイスを用いて実現される。画像表示装置200が備える記憶デバイスは、画像表示装置200が内蔵する記憶デバイスであってもよいし、画像表示装置200に外付けされた記憶デバイスであってもよい。
記憶部280は、画像表示装置200が備える記憶デバイスを用いて実現される。画像表示装置200が備える記憶デバイスは、画像表示装置200が内蔵する記憶デバイスであってもよいし、画像表示装置200に外付けされた記憶デバイスであってもよい。
制御部290は、画像表示装置200の各部を制御して各種処理を実行する。制御部290は、例えば画像表示装置200が備えるCPU(Central Processing Unit、中央処理装置)が、記憶部280からプログラムを読み出して実行することで実現される。
接近状況情報取得部291は、接近状況情報を取得する。ここでいう接近状況情報は、棚910への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚910における位置を時刻毎に示す情報である。
接近状況情報取得部291は、接近状況情報を取得する。ここでいう接近状況情報は、棚910への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚910における位置を時刻毎に示す情報である。
具体的には、棚前行動計測用センサ110が物体(特に、顧客の手)を検出すると、接近状況情報取得部291は、センシングデータを棚910の前面における座標値に変換する。
例えば、棚910の水平方向について、棚前行動計測用センサ110毎に、当該棚前行動計測用センサ110が物体を検出する位置を示す情報を、記憶部280が予め記憶しておく。接近状況情報取得部291は、物体を検出した棚前行動計測用センサ110に応じて、当該棚前行動計測用センサ110が物体を検出する位置の情報を記憶部280から読み出す。
例えば、棚910の水平方向について、棚前行動計測用センサ110毎に、当該棚前行動計測用センサ110が物体を検出する位置を示す情報を、記憶部280が予め記憶しておく。接近状況情報取得部291は、物体を検出した棚前行動計測用センサ110に応じて、当該棚前行動計測用センサ110が物体を検出する位置の情報を記憶部280から読み出す。
また、接近状況情報取得部291は、棚前行動計測用センサ110が検出した物体と棚前行動計測用センサ110自らとの距離をセンシングデータから読み取る。接近状況情報取得部291は読み取った距離を棚910の鉛直方向の位置に換算する。
接近状況情報取得部291は、センシング時刻を示す時刻情報としてセンシングデータの受信時刻情報を当該座標値と対応付けることで、接近状況情報を生成する。この接近状況情報の存在は、棚前行動計測用センサ110が物体を検出したことを示す。
接近状況情報取得部291は、センシング時刻を示す時刻情報としてセンシングデータの受信時刻情報を当該座標値と対応付けることで、接近状況情報を生成する。この接近状況情報の存在は、棚前行動計測用センサ110が物体を検出したことを示す。
棚前行動計測用センサ110が物体を検出した場合、顧客の体の少なくとも一部(特に顧客の手)が棚910に接近したものとみなす。この点で、接近状況情報は、当該情報の有無にて棚910への顧客の体の少なくとも一部の接近の有無を示す。接近状況情報は、顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚910における位置を座標値にて示す。座標が示す位置は、顧客の体の少なくとも一部が接近した棚910における位置である。
対応付け部292は、接近状況情報取得部291が生成した接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品920と対応付ける。例えば、記憶部280が、接近状況情報取得部291がセンシングデータから検出する位置情報を、商品920のいずれかに対応付ける情報を予め記憶しておく。さらに、記憶部280は、棚910に置かれた商品920毎に、当該商品920の棚910における位置を棚910の水平方向及び鉛直方向の二次元座標値にて予め記憶しておく。対応付け部292は、接近状況情報取得部291が生成した接近状況情報が示す座標値に対応付けられている商品920を記憶部280から読み出すことで、接近状況情報を商品920に対応付ける。
対応付け部292は、対応付けた商品920を識別する商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を生成して記憶部280に記憶させる。以下では、対応付け部292が生成する、商品識別情報とセンシング時刻を示す時刻情報とを対応付けた情報を対応付け後情報と称する。対応付け後情報は、接近状況情報に対応付けられた商品を示す情報の例に該当する。
指標値算出部293は、対応付け部292が生成した対応付け後情報に基づいて、顧客行動指標値を算出する。例えば、図4の例のように、指標値算出部293は、所定期間内に顧客が商品920に手を伸ばした回数を商品920毎に集計し、集計結果を示す顧客行動指標値を算出する。
また、指標値算出部293は、同一の顧客が指定された商品に対して行う行動と他の商品に対して行う行動との相関性を示す顧客行動指標値を算出する。例えば、図5の例のように、指標値算出部293は、指定商品に手を伸ばした顧客が指定商品以外の商品920に手を伸ばした回数を示す顧客行動指標値を指定商品以外の商品920毎に算出する。
また、指標値算出部293は、同一の顧客が指定された商品に対して行う行動と他の商品に対して行う行動との相関性を示す顧客行動指標値を算出する。例えば、図5の例のように、指標値算出部293は、指定商品に手を伸ばした顧客が指定商品以外の商品920に手を伸ばした回数を示す顧客行動指標値を指定商品以外の商品920毎に算出する。
図7〜図9を参照して画像表示システム1の動作について説明する。
図7は、画像表示装置200が対応付け後情報を生成する処理手順の例を示すフローチャートである。画像表示装置200は、画像表示装置200自らの電源を接続(ON)されて動作状態になると、同図の処理を開始する。
図7の処理で、接近状況情報取得部291は、棚前への顧客の立ち寄りを検出したか否かを判定する(ステップS101)。具体的には、接近状況情報取得部291は、棚状況撮影装置120が撮影した画像に、棚前に今までいなかった顧客がいることを検出した場合に、棚前への顧客の立ち寄りを検出したと判定する。棚状況撮影装置120が撮影した画像に複数の顧客が映っている場合、接近状況情報取得部291が複数の顧客のそれぞれについて当該顧客の立ち寄りを検出したか否かを判定するようにしてもよい。
図7は、画像表示装置200が対応付け後情報を生成する処理手順の例を示すフローチャートである。画像表示装置200は、画像表示装置200自らの電源を接続(ON)されて動作状態になると、同図の処理を開始する。
図7の処理で、接近状況情報取得部291は、棚前への顧客の立ち寄りを検出したか否かを判定する(ステップS101)。具体的には、接近状況情報取得部291は、棚状況撮影装置120が撮影した画像に、棚前に今までいなかった顧客がいることを検出した場合に、棚前への顧客の立ち寄りを検出したと判定する。棚状況撮影装置120が撮影した画像に複数の顧客が映っている場合、接近状況情報取得部291が複数の顧客のそれぞれについて当該顧客の立ち寄りを検出したか否かを判定するようにしてもよい。
棚前への顧客の立ち寄りを検出していないと判定した場合(ステップS101:NO)、接近状況情報取得部291はステップS101へ戻る。すなわち、画像表示装置200は、棚前への顧客の立ち寄りを待ち受ける。
ステップS101で棚前への顧客の立ち寄りを検出したと判定した場合(ステップS101:YES)、接近状況情報取得部291は、当該顧客の立ち寄りに対するグループ番号を決定する(ステップS102)。例えば、グループ番号の初期値を0としておき、棚前への顧客の立ち寄りを検出する毎に、接近状況情報取得部291がグループ番号に1を加算するようにしてもよい。
ステップS101で棚前への顧客の立ち寄りを検出したと判定した場合(ステップS101:YES)、接近状況情報取得部291は、当該顧客の立ち寄りに対するグループ番号を決定する(ステップS102)。例えば、グループ番号の初期値を0としておき、棚前への顧客の立ち寄りを検出する毎に、接近状況情報取得部291がグループ番号に1を加算するようにしてもよい。
接近状況情報取得部291は、棚前からの顧客の立ち去りを検出したか否かを判定する(ステップS103)。具体的には、接近状況情報取得部291は、棚状況撮影装置120が撮影した画像で、棚前に今までいた顧客がいなくなっていることを検出した場合に、棚前からの顧客の立ち去りを検出したと判定する。棚状況撮影装置120が撮影した画像に複数の顧客が映っていた場合、接近状況情報取得部291が複数の顧客のそれぞれについて当該顧客の立ち去りを検出したか否かを判定するようにしてもよい。
棚前からの顧客の立ち寄りを検出したと判定した場合(ステップS103:YES)、接近状況情報取得部291はステップS101へ戻る。
棚前からの顧客の立ち寄りを検出したと判定した場合(ステップS103:YES)、接近状況情報取得部291はステップS101へ戻る。
ステップS103で棚前からの顧客の立ち寄りを検出していないと判定した場合(ステップS103:NO)、接近状況情報取得部291は、棚前行動計測用センサ110からのセンシングデータを取得したか否かを判定する(ステップS104)。具体的には、接近状況情報取得部291は、通信部210がセンシングデータを受信したか否かを判定する。
センシングデータを取得していないと判定した場合(ステップS104:NO)、接近状況情報取得部291はステップS104へ戻る。すなわち、画像表示装置200は、棚前行動計測用センサ110からのセンシングデータを待ち受ける。
ステップS104でセンシングデータを取得したと判定した場合(ステップS104:YES)、接近状況情報取得部291は、接近状況情報を生成する(ステップS105)。具体的には、接近状況情報取得部291は、通信部210が受信したセンシングデータを棚910の前面における二次元座標値に換算し、得られた二次元座標値に基づいて接近状況情報を生成する。
ステップS104でセンシングデータを取得したと判定した場合(ステップS104:YES)、接近状況情報取得部291は、接近状況情報を生成する(ステップS105)。具体的には、接近状況情報取得部291は、通信部210が受信したセンシングデータを棚910の前面における二次元座標値に換算し、得られた二次元座標値に基づいて接近状況情報を生成する。
対応付け部292は、ステップS105で得られた二次元座標値に基づいて対応付け後情報を生成する(ステップS106)。具体的には、対応付け部292は、ステップS102で決定したグループ番号と、センシング時刻と、二次元座標値から得られた商品識別情報とを結合した情報を、図6のデータ構造の例のように1行分の対応付け後情報として生成する。
対応付け部292は、ステップS106で得られた対応付け後情報(1行分の情報)を記憶部280に記憶させる(ステップS107)。
対応付け部292は、ステップS107の後、ステップS103へ戻る。
対応付け部292は、ステップS106で得られた対応付け後情報(1行分の情報)を記憶部280に記憶させる(ステップS107)。
対応付け部292は、ステップS107の後、ステップS103へ戻る。
図8は、画像表示装置200が、顧客行動指標値を表示する処理手順の第1の例を示すフローチャートである。図8では、図4を参照して説明したように、表示部220が、商品920毎に、顧客が当該商品920に手を伸ばした数を色で表示する場合の例を示す。画像表示装置200は、例えば顧客行動指標値の表示を指示するユーザ操作を操作入力部230が受けると図8の処理を開始する。
図8の処理で、指標値算出部293は、図7の処理で得られた対応付け後情報に基づいて、商品920毎に、顧客が当該商品920に手を伸ばした回数を計数する(ステップS201)。
指標値算出部293は、ステップS201で得られた計数結果に基づいて、棚910の画像における商品920の画像の各々に色を付す(ステップS202)。
指標値算出部293は、ステップS202で商品920に色を付した棚910の画像を表示部220に表示させる(ステップS203)。
指標値算出部293は、ステップS203の後、図8の処理を終了する。
指標値算出部293は、ステップS201で得られた計数結果に基づいて、棚910の画像における商品920の画像の各々に色を付す(ステップS202)。
指標値算出部293は、ステップS202で商品920に色を付した棚910の画像を表示部220に表示させる(ステップS203)。
指標値算出部293は、ステップS203の後、図8の処理を終了する。
図9は、画像表示装置200が、顧客行動指標値を表示する処理手順の第2の例を示すフローチャートである。図9では、図5を参照して説明したように、表示部220が、指定商品に手を伸ばした顧客が他の商品920に手を伸ばした回数を商品920毎に色で表示する場合の例を示す。画像表示装置200は、商品間の相関性を示す顧客行動指標値の表示を指示するユーザ操作を操作入力部230が受けると図9の処理を開始する。
図9の処理で、操作入力部230は、商品920の指定を受ける(ステップS301)。例えば、操作入力部230は、表示部220が棚910の画像を表示している状態で、棚910の画像に含まれる商品920の像のいずれかをマウスクリックにて指定する操作を受ける。ステップS301での商品920の指定は、指定商品の選択である。
指標値算出部293は、図7の処理で得られた対応付け後情報のうち、指定商品への手伸ばしを示す対応付け後情報と同じグループ番号が付されている対応付け後情報を全て選択する(ステップS302)。すなわち、指標値算出部293は、指定商品に手を伸ばした顧客が行った手伸ばしを示す対応付け後情報を取得する。
指標値算出部293は、図7の処理で得られた対応付け後情報のうち、指定商品への手伸ばしを示す対応付け後情報と同じグループ番号が付されている対応付け後情報を全て選択する(ステップS302)。すなわち、指標値算出部293は、指定商品に手を伸ばした顧客が行った手伸ばしを示す対応付け後情報を取得する。
指標値算出部293は、ステップS302で得られた対応付け後情報について、指定商品以外の商品920毎に、顧客が当該商品920に手を伸ばした回数を計数する(ステップS303)。
指標値算出部293は、ステップS303で得られた計数結果に基づいて、棚910の画像における指定商品以外の商品920の画像の各々に色を付す(ステップS304)。
指標値算出部293は、ステップS304で商品920に色を付した棚910の画像を表示部220に表示させる(ステップS305)。
指標値算出部293は、ステップS305の後、図9の処理を終了する。
指標値算出部293は、ステップS303で得られた計数結果に基づいて、棚910の画像における指定商品以外の商品920の画像の各々に色を付す(ステップS304)。
指標値算出部293は、ステップS304で商品920に色を付した棚910の画像を表示部220に表示させる(ステップS305)。
指標値算出部293は、ステップS305の後、図9の処理を終了する。
以上のように、接近状況情報取得部291は、商品920が陳列された棚910への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚910における位置を時刻毎に示す接近状況情報を取得する。また、対応付け部292は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品920と対応付ける。これにより、対応付け部292は、顧客が手を伸ばした商品920を特定する。指標値算出部293は、接近状況情報に対応付けられた商品920を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部220は、指標値算出部293が算出した指標値を、対応付け部292による対応付けに基づいて、棚910の画像における商品920の像の位置に表示する。
これにより、画像表示システム1では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム1は、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
これにより、画像表示システム1では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム1は、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
操作入力部230は、ユーザ操作による商品の指定を受ける。指標値算出部293は、指定された商品と、他の商品とのそれぞれに対して同一の顧客が行った行動の相関性を示す指標値を算出する。
これにより、表示部220は、商品間の相関性を視覚的に表示することができる。従ってユーザは、この表示を参照して、商品間の相関性を分析することができる。
これにより、表示部220は、商品間の相関性を視覚的に表示することができる。従ってユーザは、この表示を参照して、商品間の相関性を分析することができる。
ユーザは、画像表示システム1を用いて顧客が棚のどこに手を伸ばしたかを把握することができる。これにより、ユーザは、顧客が棚のどこに手を伸ばし易いかを把握することができる。
また、ユーザは、画像表示システム1を用いて顧客がどの商品に手を伸ばしたか、また、どの商品と、どの商品とを比較したか等の情報を取得することができる。ユーザは、これらの情報を個々の商品のマーケティングに用いることができる。
また、ユーザは、画像表示システム1を用いて顧客がどの商品に手を伸ばしたか、また、どの商品と、どの商品とを比較したか等の情報を取得することができる。ユーザは、これらの情報を個々の商品のマーケティングに用いることができる。
なお、図4及び図5を参照して説明した、顧客が商品に手を伸ばした回数の表示に加えて、あるいは代えて、表示部220が、顧客が商品を手に取った回数を表示するようにしてもよい。例えば、画像表示システム1が、棚910の上から下方に向けて撮影を行うカメラを備え、指標値算出部293が、このカメラの画像を解析することで、顧客が商品を手に取ったか否かを判定するようにしてもよい。
表示部220が、顧客が商品を購入したか棚に戻したかの区別など、商品の購入の有無に関する情報を表示するようにしてもよい。例えば、指標値算出部293は、顧客が棚前に立ち寄る前に棚状況撮影装置120が撮影した画像と、顧客が棚前から立ち去った後に棚状況撮影装置120が撮影した画像とを比較する。指標値算出部293は、商品の数が減っていることを検出した場合、顧客が当該商品を購入したと判定する。指標値算出部293は、商品の数が減っていないことを検出した場合、顧客が手に取った商品を棚に戻したと判定する。
表示部220が、顧客が商品を手に取った時間を表示するようにしてもよい。例えば、顧客が商品を手に取ってから当該商品を戻すまでの時間、及び、顧客が商品を手に取ってから棚前を離れるまでの時間を、それぞれ顧客が商品を手に取った時間として、表示部220が、顧客が商品を手に取った1回あたりの平均時間を表示するようにしてもよい。
これにより、ユーザは、個々の商品が、顧客がじっくり検討してから購入する商品なのか、顧客が予め購入を決めている商品なのかを把握することができ、商品のマーケティングの参考にすることができる。
これにより、ユーザは、個々の商品が、顧客がじっくり検討してから購入する商品なのか、顧客が予め購入を決めている商品なのかを把握することができ、商品のマーケティングの参考にすることができる。
画像表示システム1が、顧客が棚前で留まっている時間を算出して、上述した棚前行動指標値の表示と共に表示するようにしてもよい。
画像表示システム1が、棚前の顧客を棚側から撮影するカメラを備え、顧客の顔の向き及び顧客の視線の向きのうち少なくともいずれか一方の情報を取得して、上述した棚前行動指標値の表示と共に表示するようにしてもよい。
画像表示システム1が、上述した棚前行動指標値の表示と共に、棚前行動以外の情報を表示するようにしてもよい。例えば、記憶部280が、顧客が会員か否かの情報を予め記憶しておき、画像表示システム1が、会員の人はこの商品をよく手に取っている等の情報を棚前行動指標値として抽出し表示するようにしてもよい。
画像表示システム1が、棚前の顧客を棚側から撮影するカメラを備え、顧客の顔の向き及び顧客の視線の向きのうち少なくともいずれか一方の情報を取得して、上述した棚前行動指標値の表示と共に表示するようにしてもよい。
画像表示システム1が、上述した棚前行動指標値の表示と共に、棚前行動以外の情報を表示するようにしてもよい。例えば、記憶部280が、顧客が会員か否かの情報を予め記憶しておき、画像表示システム1が、会員の人はこの商品をよく手に取っている等の情報を棚前行動指標値として抽出し表示するようにしてもよい。
図10及び図11を参照して、本発明の最小構成について説明する。
図10は、本発明に係る画像表示装置の最小構成を示す説明図である。同図に示す画像表示装置10は、接近状況情報取得部11と、対応付け部12と、指標値算出部13と、表示部14とを備える。
かかる構成にて、接近状況情報取得部11は、商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報を取得する。対応付け部12は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの前記商品と対応付ける。指標値算出部13は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部14は、指標値算出部13が算出した指標値を、対応付け部12による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
これにより、画像表示装置10では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示装置10では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
図10は、本発明に係る画像表示装置の最小構成を示す説明図である。同図に示す画像表示装置10は、接近状況情報取得部11と、対応付け部12と、指標値算出部13と、表示部14とを備える。
かかる構成にて、接近状況情報取得部11は、商品が陳列された棚への顧客の体の少なくとも一部の接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報を取得する。対応付け部12は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの前記商品と対応付ける。指標値算出部13は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部14は、指標値算出部13が算出した指標値を、対応付け部12による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
これにより、画像表示装置10では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示装置10では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
図11は、本発明に係る画像表示システムの最小構成を示す説明図である。同図に示す画像表示システム20は、棚前行動計測用センサ21と、接近状況情報取得部22と、対応付け部23と、指標値算出部24と、表示部25とを備える。
かかる構成にて、棚前行動計測用センサ21は、商品が陳列された棚への顧客の体の少なくとも一部の接近を検出して接近箇所の前記棚における位置を示すセンシングデータを生成する。接近状況情報取得部22は、接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報をセンシングデータに基づいて生成する。対応付け部23は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品と対応付ける。指標値算出部24は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部25は、指標値算出部24が算出した指標値を、対応付け部23による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
これにより、画像表示システム20では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム20では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
かかる構成にて、棚前行動計測用センサ21は、商品が陳列された棚への顧客の体の少なくとも一部の接近を検出して接近箇所の前記棚における位置を示すセンシングデータを生成する。接近状況情報取得部22は、接近の有無及び接近があった場合の棚における位置を時刻毎に示す接近状況情報をセンシングデータに基づいて生成する。対応付け部23は、接近状況情報を、当該接近状況情報が示す位置に応じていずれかの商品と対応付ける。指標値算出部24は、接近状況情報に対応付けられた商品を示す情報に基づいて、顧客の行動に関する指標値を算出する。表示部25は、指標値算出部24が算出した指標値を、対応付け部23による対応付けに基づいて、棚の画像における商品の像の位置に表示する。
これにより、画像表示システム20では、顧客の行動を示す情報をより詳細に表示することができる。特に、画像表示システム20では、陳列棚毎よりも詳細に商品毎に顧客の行動を示す情報を表示することができる。ユーザは、この表示を参照して、顧客の行動分析をより高度に行い得る。
制御部290、接近状況情報取得部11、対応付け部12、指標値算出部13、接近状況情報取得部22、対応付け部23、及び、指標値算出部24の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本願は、2016年3月22日に、日本に出願された特願2016−057537号に基づき優先権を主張し、その内容をここに援用する。
本発明は、顧客の行動を示す情報をより詳細に表示することが不可欠な用途に適用できる。
1、20 画像表示システム
10、200 画像表示装置
11、22、291 接近状況情報取得部
12、23、292 対応付け部
13、24、293 指標値算出部
14、25、220 表示部
21、110 棚前行動計測用センサ
120 棚状況撮影装置
210 通信部
230 操作入力部
280 記憶部
290 制御部
10、200 画像表示装置
11、22、291 接近状況情報取得部
12、23、292 対応付け部
13、24、293 指標値算出部
14、25、220 表示部
21、110 棚前行動計測用センサ
120 棚状況撮影装置
210 通信部
230 操作入力部
280 記憶部
290 制御部
Claims (7)
- 複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する取得部と、
商品の指定を受け付ける商品指定受付部と、
前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、指定された前記商品である指定商品に手を伸ばした顧客が、他の商品に手を伸ばしたことに関する指標値を算出する指標値算出部と、
前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う表示部と、
を備える情報処理システム。 - 前記指標値算出部は、所定期間内に前記顧客が前記商品に手を伸ばした回数を前記商品ごとに集計した値を前記指標値として算出する
請求項1に記載の情報処理システム。 - 前記表示部は、算出された前記指標値に基づくヒートマップを表示する
請求項2に記載の情報処理システム。 - 前記表示部は、前記ヒートマップとともに、前記ヒートマップにおける色と前記指標値との対応付けを示す凡例を表示する
請求項3に記載の情報処理システム。 - 前記表示部は、前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく数値を表示する
請求項2から4の何れか一項に記載の情報処理システム。 - 複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得し、
商品の指定を受け付け、
前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、指定された前記商品である指定商品に手を伸ばした顧客が、他の商品に手を伸ばしたことに関する指標値を算出し、
前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う、
情報処理方法。 - コンピュータに、
複数の商品が陳列された棚における顧客が手を伸ばした位置の情報を取得する処理と、 商品の指定を受け付ける処理と、
前記位置に対応する前記商品の情報と前記位置の情報とに基づいて、指定された前記商品である指定商品に手を伸ばした顧客が、他の商品に手を伸ばしたことに関する指標値を算出する処理と、
前記棚における前記商品の位置に対応させて、算出された前記指標値に基づく表示を行う処理と、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022137894A JP7501580B2 (ja) | 2016-03-22 | 2022-08-31 | 画像表示装置、画像表示方法及びプログラム |
JP2024046806A JP2024069664A (ja) | 2016-03-22 | 2024-03-22 | 表示装置、表示方法及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016057537 | 2016-03-22 | ||
JP2016057537 | 2016-03-22 | ||
JP2020082214A JP6911973B2 (ja) | 2016-03-22 | 2020-05-07 | 画像表示装置、画像表示方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020082214A Division JP6911973B2 (ja) | 2016-03-22 | 2020-05-07 | 画像表示装置、画像表示方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022137894A Division JP7501580B2 (ja) | 2016-03-22 | 2022-08-31 | 画像表示装置、画像表示方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021182401A true JP2021182401A (ja) | 2021-11-25 |
JP7136284B2 JP7136284B2 (ja) | 2022-09-13 |
Family
ID=59900171
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018507208A Active JP6508419B2 (ja) | 2016-03-22 | 2017-03-09 | 画像表示装置、画像表示システム、画像表示方法及びプログラム |
JP2019025897A Active JP6702464B2 (ja) | 2016-03-22 | 2019-02-15 | 画像表示装置、画像表示方法及びプログラム |
JP2020082214A Active JP6911973B2 (ja) | 2016-03-22 | 2020-05-07 | 画像表示装置、画像表示方法及びプログラム |
JP2021112372A Active JP7136284B2 (ja) | 2016-03-22 | 2021-07-06 | 情報処理システム、情報処理方法及びプログラム |
JP2022137894A Active JP7501580B2 (ja) | 2016-03-22 | 2022-08-31 | 画像表示装置、画像表示方法及びプログラム |
JP2024046806A Pending JP2024069664A (ja) | 2016-03-22 | 2024-03-22 | 表示装置、表示方法及びプログラム |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018507208A Active JP6508419B2 (ja) | 2016-03-22 | 2017-03-09 | 画像表示装置、画像表示システム、画像表示方法及びプログラム |
JP2019025897A Active JP6702464B2 (ja) | 2016-03-22 | 2019-02-15 | 画像表示装置、画像表示方法及びプログラム |
JP2020082214A Active JP6911973B2 (ja) | 2016-03-22 | 2020-05-07 | 画像表示装置、画像表示方法及びプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022137894A Active JP7501580B2 (ja) | 2016-03-22 | 2022-08-31 | 画像表示装置、画像表示方法及びプログラム |
JP2024046806A Pending JP2024069664A (ja) | 2016-03-22 | 2024-03-22 | 表示装置、表示方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (6) | US10813477B2 (ja) |
JP (6) | JP6508419B2 (ja) |
WO (1) | WO2017163909A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022164828A (ja) * | 2016-03-22 | 2022-10-27 | 日本電気株式会社 | 画像表示装置、画像表示方法及びプログラム |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015208217A1 (de) | 2015-05-04 | 2016-11-10 | Stabilus Gmbh | Gewindetriebanordnung und Sitzanordnung mit einer Gewindetriebanordnung |
US10474991B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Deep learning-based store realograms |
US11200692B2 (en) | 2017-08-07 | 2021-12-14 | Standard Cognition, Corp | Systems and methods to check-in shoppers in a cashier-less store |
JP2019082824A (ja) * | 2017-10-30 | 2019-05-30 | 株式会社Nttドコモ | 情報処理装置及びプログラム |
US11443503B2 (en) | 2018-03-09 | 2022-09-13 | Nec Corporation | Product analysis system, product analysis method, and product analysis program |
CN108921098B (zh) * | 2018-07-03 | 2020-08-18 | 百度在线网络技术(北京)有限公司 | 人体运动分析方法、装置、设备及存储介质 |
WO2020023795A1 (en) * | 2018-07-26 | 2020-01-30 | Standard Cognition, Corp. | Realtime inventory tracking using deep learning |
CA3107446A1 (en) * | 2018-07-26 | 2020-01-30 | Standard Cognition, Corp. | Deep learning-based store realograms |
JP6601890B1 (ja) | 2018-10-16 | 2019-11-06 | Necプラットフォームズ株式会社 | 商品購入支援システム、商品購入支援装置及びpos端末装置 |
US11126861B1 (en) * | 2018-12-14 | 2021-09-21 | Digimarc Corporation | Ambient inventorying arrangements |
WO2020179480A1 (ja) | 2019-03-01 | 2020-09-10 | 日本電気株式会社 | 物品推定装置、物品推定方法、及びプログラム |
JP7372099B2 (ja) * | 2019-09-24 | 2023-10-31 | 東芝テック株式会社 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
JP1676686S (ja) | 2020-03-17 | 2021-01-18 | ||
JP1676928S (ja) | 2020-03-17 | 2021-01-18 | ||
JP7247266B2 (ja) * | 2021-06-08 | 2023-03-28 | 株式会社Nttコノキュー | 処理装置、処理方法及び処理プログラム |
JP7233470B2 (ja) * | 2021-06-08 | 2023-03-06 | 株式会社Nttコノキュー | 処理装置、処理方法及び処理プログラム |
JP2022189266A (ja) * | 2021-06-11 | 2022-12-22 | パナソニックIpマネジメント株式会社 | 店舗運営支援装置および店舗運営支援方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151409A (ja) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム |
WO2010053194A1 (ja) * | 2008-11-10 | 2010-05-14 | 日本電気株式会社 | 顧客行動記録装置及び顧客行動記録方法並びに記録媒体 |
US8380558B1 (en) * | 2006-12-21 | 2013-02-19 | Videomining Corporation | Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data |
WO2014010143A1 (ja) * | 2012-07-13 | 2014-01-16 | Necソフト株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2014026350A (ja) * | 2012-07-24 | 2014-02-06 | Takashi Hirabayashi | 関心度計測システム、関心度計測装置及び関心度計測プログラム |
JP2015011649A (ja) * | 2013-07-02 | 2015-01-19 | パナソニック株式会社 | 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置 |
JP2015149064A (ja) * | 2014-01-09 | 2015-08-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 照明制御システムに関連した店舗業務のための情報表示方法、照明制御方法 |
JP2015179390A (ja) * | 2014-03-19 | 2015-10-08 | 日本電気株式会社 | 販売促進装置、販売促進方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002358400A (ja) * | 2001-05-31 | 2002-12-13 | Toshiba Corp | 顧客満足度を評価する方法およびプログラム |
KR101727839B1 (ko) | 2012-09-24 | 2017-04-17 | 가부시키가이샤 히타치 시스테무즈 | 상품 진열장 시스템, 상품 진열장 방법 및 상품 진열장 프로그램 |
US20140214547A1 (en) * | 2013-01-25 | 2014-07-31 | R4 Technologies, Llc | Systems and methods for augmented retail reality |
US20150206188A1 (en) * | 2014-01-17 | 2015-07-23 | Panasonic Intellectual Property Corporation Of America | Item presentation method, and information display method |
JP5866564B1 (ja) * | 2014-08-27 | 2016-02-17 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
JP5881022B1 (ja) | 2014-09-11 | 2016-03-09 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
US10813477B2 (en) * | 2016-03-22 | 2020-10-27 | Nec Corporation | Image display device, image display system, image display method, and program |
US10133933B1 (en) * | 2017-08-07 | 2018-11-20 | Standard Cognition, Corp | Item put and take detection using image recognition |
-
2017
- 2017-03-09 US US16/085,638 patent/US10813477B2/en active Active
- 2017-03-09 JP JP2018507208A patent/JP6508419B2/ja active Active
- 2017-03-09 WO PCT/JP2017/009533 patent/WO2017163909A1/ja active Application Filing
-
2019
- 2019-02-15 JP JP2019025897A patent/JP6702464B2/ja active Active
-
2020
- 2020-04-21 US US16/854,458 patent/US11051638B2/en active Active
- 2020-05-07 JP JP2020082214A patent/JP6911973B2/ja active Active
-
2021
- 2021-05-20 US US17/325,824 patent/US11786058B2/en active Active
- 2021-07-06 JP JP2021112372A patent/JP7136284B2/ja active Active
-
2022
- 2022-08-31 JP JP2022137894A patent/JP7501580B2/ja active Active
-
2023
- 2023-05-31 US US18/204,145 patent/US20230301447A1/en active Granted
- 2023-08-23 US US18/237,240 patent/US20230404296A1/en active Pending
- 2023-08-23 US US18/237,245 patent/US20230389725A1/en active Pending
-
2024
- 2024-03-22 JP JP2024046806A patent/JP2024069664A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8380558B1 (en) * | 2006-12-21 | 2013-02-19 | Videomining Corporation | Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data |
JP2009151409A (ja) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム |
WO2010053194A1 (ja) * | 2008-11-10 | 2010-05-14 | 日本電気株式会社 | 顧客行動記録装置及び顧客行動記録方法並びに記録媒体 |
WO2014010143A1 (ja) * | 2012-07-13 | 2014-01-16 | Necソフト株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2014026350A (ja) * | 2012-07-24 | 2014-02-06 | Takashi Hirabayashi | 関心度計測システム、関心度計測装置及び関心度計測プログラム |
JP2015011649A (ja) * | 2013-07-02 | 2015-01-19 | パナソニック株式会社 | 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置 |
JP2015149064A (ja) * | 2014-01-09 | 2015-08-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 照明制御システムに関連した店舗業務のための情報表示方法、照明制御方法 |
JP2015179390A (ja) * | 2014-03-19 | 2015-10-08 | 日本電気株式会社 | 販売促進装置、販売促進方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022164828A (ja) * | 2016-03-22 | 2022-10-27 | 日本電気株式会社 | 画像表示装置、画像表示方法及びプログラム |
JP7501580B2 (ja) | 2016-03-22 | 2024-06-18 | 日本電気株式会社 | 画像表示装置、画像表示方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210267387A1 (en) | 2021-09-02 |
JPWO2017163909A1 (ja) | 2018-10-04 |
JP7501580B2 (ja) | 2024-06-18 |
US20190104866A1 (en) | 2019-04-11 |
JP6702464B2 (ja) | 2020-06-03 |
WO2017163909A1 (ja) | 2017-09-28 |
US20230301447A1 (en) | 2023-09-28 |
US20230389725A1 (en) | 2023-12-07 |
US11051638B2 (en) | 2021-07-06 |
JP2019109916A (ja) | 2019-07-04 |
JP2020140725A (ja) | 2020-09-03 |
US20230404296A1 (en) | 2023-12-21 |
JP2022164828A (ja) | 2022-10-27 |
JP6508419B2 (ja) | 2019-05-08 |
JP6911973B2 (ja) | 2021-07-28 |
US20200245784A1 (en) | 2020-08-06 |
US11786058B2 (en) | 2023-10-17 |
JP7136284B2 (ja) | 2022-09-13 |
JP2024069664A (ja) | 2024-05-21 |
US10813477B2 (en) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6911973B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
JP6665927B2 (ja) | 行動分析装置、行動分析システム、行動分析方法及びプログラム | |
TWI793719B (zh) | 店鋪裝置、店鋪系統、店鋪管理方法及程式 | |
JP5632512B1 (ja) | 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置 | |
JP7251569B2 (ja) | 店舗装置、店舗管理方法、プログラム | |
US9218794B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
US20180293598A1 (en) | Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method | |
US10740934B2 (en) | Flow line display system, flow line display method, and program recording medium | |
EP3174001A1 (en) | Gaze tracking system and gaze tracking method | |
JP2014146181A (ja) | 作業情報記録装置、表示システム、及びプログラム | |
JP4338147B2 (ja) | 商品関心度計測装置 | |
JP6515022B2 (ja) | 観察領域推定方法、観察領域推定装置、及びプログラム | |
JP2018097412A (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR20210155492A (ko) | 3d 카메라를 이용한 한우 체중 측정 방법 및 장치 | |
JP2021076997A (ja) | カメラを用いたマーケティングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7136284 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |