JP6520218B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP6520218B2 JP6520218B2 JP2015040918A JP2015040918A JP6520218B2 JP 6520218 B2 JP6520218 B2 JP 6520218B2 JP 2015040918 A JP2015040918 A JP 2015040918A JP 2015040918 A JP2015040918 A JP 2015040918A JP 6520218 B2 JP6520218 B2 JP 6520218B2
- Authority
- JP
- Japan
- Prior art keywords
- store
- information
- customer
- flow line
- entrance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 22
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 239000000284 extract Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 62
- 238000000034 method Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 238000013479 data entry Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 101100476202 Caenorhabditis elegans mog-2 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
請求項1の発明は、複数のレジがある店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第1の対応付手段と、前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第2の対応付手段と、前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第3の対応付手段と、前記第1の対応付手段と第2の対応付手段と第3の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第4の対応付手段を具備し、前記第2の対応付手段は、前記顧客の動線に関する情報が、前記購買に関する情報で特定されるレジに該当するレジの前となっている場合に、該動線に関する情報と該購買に関する情報を対応付けることを特徴とする情報処理装置である。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、すべての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
店舗200内には、撮影装置(入口真上カメラ)122があり、商品棚290A、商品棚290B、商品棚290C、商品棚290D、商品棚290Eがあり、顧客は商品を選択して、レジ受付台218へ進み、それぞれ支払い(レジ処理装置220Aで顧客306、レジ処理装置220Bで顧客304、レジ処理装置220Cで顧客302)が行われる。その場合、図3の例に示すように、支払いをするために待っている顧客の列(顧客308、顧客310、顧客312、顧客314、顧客316)がフォーク型となる場合がある。待っているときでは、静止している状態となる場合が多く、静止していると背景との区別がつきにくく、人体を抽出することが困難となる場合がある。なお、この状況は、フォーク型に限らず、待ちの列が発生した場合にも発生する。また、特にフォーク型の場合は、列に並んだ順序とレジで処理を完了する順序が一致しない場合が発生する。例えば、顧客302、顧客304、顧客306の順序で並んでいたとしても、必ずしもこの順序で支払いが完了するわけではない。例えば、購入する商品の量、店員が不慣れである場合等によって、顧客306の支払いが他の2人(顧客302、顧客304)よりも先に完了する場合がある。その場合、前述の特許文献等に示した技術では、動線データと購買データを誤って対応付けてしまうことがある。また、レジ受付台218に立ち寄ったが何も買わない場合もあるので、対応付けは自明ではない。そして、レジ受付台218で顧客の顔を撮影することは望ましくない。
処理装置100は、店内動線と購買情報を抽出し、入店における動線と退店における動線の対応付けを行い、退店における動線と購買情報を対応付ける。これにより、レジ待ち行列に関係なく、店内動線と購買情報を対応付けるようにしている。
処理装置100は、撮影装置(撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122)から動画ストリームを受け取り、これを動線データに変換し、購買データDB140上の購買データと対応付けるところまでを行う装置である。処理装置100内での処理に関しては、以下に説明する。
店内動線追跡記録モジュール102は、撮影装置(全方位カメラ)120、店内動線DB130と接続されている。店内動線追跡記録モジュール102は、店舗のエリア内に設置されたカメラを用いて人物を追跡して動線を記録する。
店内動線DB130は、店内動線追跡記録モジュール102、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108、提示モジュール114と接続されている。店内動線DB130は、店内動線追跡記録モジュール102による処理結果を記憶しており、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108からアクセスされる。具体的には、店内動線DB130は、店内動線が記録されるDBである。1人の店内動線に対して1つの店内動線IDが割り当てられる。
入口真上動線追跡記録モジュール104は、撮影装置(入口真上カメラ)122、入店/退店データDB132と接続されている。入口真上動線追跡記録モジュール104は、出入口を出入りする人物を追跡し、境界線をクロスしたときの画像、時刻、方向と、境界線上の座標(例えば、人物の中央等)を記録する。
入店/退店データDB132は、入口真上動線追跡記録モジュール104、入店/退店データと入口を通る動線の対応付けモジュール106、入店/退店データの入店と退店のID対応付けモジュール110と接続されている。入店/退店データDB132は、入口真上動線追跡記録モジュール104による処理結果を記憶しており、入店/退店データと入口を通る動線の対応付けモジュール106、入店/退店データの入店と退店のID対応付けモジュール110からアクセスされる。入店/退店データDB132は、入店/退店が記録されるDBである。
ID対応DB150は、入店/退店データと入口を通る動線の対応付けモジュール106、レジから入口までの動線と購買データの対応付けモジュール108、入店/退店データの入店と退店のID対応付けモジュール110、店内動線と購買データの対応付けモジュール112、提示モジュール114と接続されている。具体的には、ID対応DB150は、入店ID、退店ID、店内動線ID、レシートIDを対応付けるためのデータベースである。テーブル構成としては、1テーブル構成としてもよいし、一対一対応のテーブルを複数個用意する構成であってもよい。
表示装置190は、提示モジュール114と接続されている。表示装置190は、店内動線と購買データの対応付け結果が表示されるディスプレイ等の装置である。
また、「出入口における入店又は退店した顧客に関する情報」は、その出入口を上から撮影した第1の画像から抽出したものであってもよい。具体的には、撮影装置(入口真上カメラ)122によって撮影された画像から、「出入口における入店又は退店した顧客に関する情報」を抽出する。そして、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」は、店舗内を撮影した第2の画像から抽出したものであってもよい。具体的には、撮影装置(全方位カメラ)120によって撮影された画像から、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」を抽出する。
さらに、撮影装置(入口真上カメラ)122によって撮影された画像から、「出入口における入店又は退店した顧客に関する情報」、「店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報」の両方を抽出するようにしてもよい。この場合、撮影装置(入口真上カメラ)122は、店舗の出入口の画像のほかに、店舗内の画像も撮影する。
また、ここでの「第1の画像又は第2の画像」は、複数のカメラ(撮影装置(全方位カメラ)120が複数、又は撮影装置(入口真上カメラ)122が複数)によって撮影された複数の画像を合成した画像であってもよい。
図2(a)の例では、店舗200内に処理装置100を設置した場合を示している。
店舗200には、処理装置100、撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122、入り口210、レジ受付台218、購買データ記憶装置230、商品棚290A、商品棚290B、商品棚290C、商品棚290D、商品棚290Eが設置されている。購買データ記憶装置230は、購買データDB140を有している。レジ受付台218には、レジ処理装置220A、レジ処理装置220B、レジ処理装置220Cが設置されている。
処理装置100、撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122、購買データ記憶装置230は、通信回線を介してそれぞれ接続されている。通信回線は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのイントラネット等であってもよい。
各店舗200には、撮影装置(全方位カメラ)120、撮影装置(入口真上カメラ)122、購買データ記憶装置230が設置されている。処理装置100、店舗200A、店舗200B、店舗200Cは、通信回線299を介してそれぞれ接続されている。通信回線299は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、処理装置100による機能は、クラウドサービスとして実現してもよい。
ステップS402では、店内動線追跡記録モジュール102は、店内における動線を追跡し、記録する。具体的には、店内動線追跡記録モジュール102は、エリア内に設置された撮影装置(全方位カメラ)120を用いて、出入口(入店)から、レジ待ち行列までの追跡及び、レジから出入口(退店)までの追跡を行う。
処理装置100では、図5の例に示すようにエリア内の天井に設置された撮影装置(全方位カメラ)120(複数の場合もある)からの情報を前提とする例を示すが、全方位カメラでなくとも、動線が途切れずに追跡できるように、カメラが配置されていれば問題ない。
人物追跡には、既知の手法を用いればよい。例えば、前段の人体検出にはMOG2による背景差分法(Zivkovic 2004)、後段の追跡にはKLTトラッキング法(Tomasi et al. 1991)などを用いればよい。
なお、処理装置100の前提上、レジ待ちの列に並んだときに動線が分断されてしまうことは問題ないものとする。
タイムスタンプ欄610は、撮影した画像のタイムスタンプ(撮影日時)を記憶している。店内動線ID欄620は、本実施の形態において、店内動線を一意に識別するための情報(店内動線ID:IDentification)を記憶している。人物を囲う矩形の左上X座標欄630は、その店内動線IDにおける人物を囲う矩形(外接矩形)の左上X座標を記憶している。人物を囲う矩形の左上Y座標欄640は、その店内動線IDにおける人物を囲う矩形の左上Y座標を記憶している。人物を囲う矩形の幅欄650は、その店内動線IDにおける人物を囲う矩形の幅を記憶している。人物を囲う矩形の高さ欄660は、その店内動線IDにおける人物を囲う矩形の高さを記憶している。
また、全方位カメラの画像は歪んでいて扱いにくいので、既知の幾何学補正技術により歪みを除去し、平面図の座標系の動線データに変換してもよい。簡単には、床に等間隔にマーカーを貼った状態で全方位カメラ画像を取得し、中心からの距離を変換する回帰式を導出しておけばよい。処理装置100の説明では、簡便のため、平面図の座標系に変換した動線データを用いる。
ステップS402の足元座標を用いた処理結果を、例えば、店内動線テーブル800として記憶する。図8は、店内動線テーブル800のデータ構造例を示す説明図である。店内動線テーブル800は、タイムスタンプ欄810、店内動線ID欄820、X座標欄830、Y座標欄840を有している。
タイムスタンプ欄810は、撮影した画像のタイムスタンプを記憶している。店内動線ID欄820は、店内動線IDを記憶している。X座標欄830は、その店内動線IDにおける足元座標のX座標を記憶している。Y座標欄840は、その店内動線IDにおける足元座標のY座標を記憶している。
・入口からレジ待ち行列までの動線(例えば、図9に示す入店からレジ行列までの動線910参照)
・レジから入口までの動線(例えば、図10に示すレジから入口までの動線1010参照)
なお、レジ及び入口の座標情報は予め保持しておくものとする。
また、1つの全方位カメラで対象エリアすべてをカバーできない場合は、複数カメラを用いる視体積交差法(窪田ら 2008)等の技術を用いて店内動線を取得すればよい。
このステップS402の説明における前述の参考文献は、以下の通りである。
「Zivkovic, Zoran. ”Improved adaptive Gaussian mixture model for background subtraction.” Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on. Vol. 2. IEEE, 2004.」
「Carlo Tomasi and Takeo Kanade. Detection and Tracking of Point Features. Carnegie Mellon University Technical Report CMU−CS−91−132, April 1991.」
「窪田進, 丸山昌之, and 伊久美智則. ”複数の全方位カメラによる人物動線計測システム.” 東芝レビュー 63.10 (2008): 44−47.」
ここで、店外と店内の境界線を越えたとき(入店と退店のとき)の画像を保存しておく。
また、境界線を越えたときの時刻と方向(人物が移動する方向であって、店外から店内への入店と店内から店外への退店の2方向がある)と、境界線上の座標(例えば、人物の中央等)も記録しておく。
入店、退店の区別は、予め与えておいた出入口を表す線分(境界線)をどちらの方から越えたのか、に基づいて区別する。
画像ファイルは例えば、入退店IDをファイル名としておくことで対応付けられる。ステップS404の処理結果を、例えば、入店/退店テーブル1100として記憶する。図11は、入店/退店テーブル1100のデータ構造例を示す説明図である。入店/退店テーブル1100は、タイムスタンプ欄1110、入退店ID欄1120、入店/退店欄1130、境界線上の座標欄1140を有している。
タイムスタンプ欄1110は、撮影した画像のタイムスタンプを記憶している。入退店ID欄1120は、本実施の形態において、入退店を一意に識別するための情報(入退店ID)を記憶している。入店/退店欄1130は、その入退店IDは入店であるか退店であるかを記憶している。境界線上の座標欄1140は、その入退店IDにおける境界線上の座標を記憶している。この境界線上の座標は、図12の例に示すように、入り口210における1次元の座標である。
なお、入店と退店を別テーブルとしても問題ない。つまり、入店用テーブルとして、タイムスタンプ欄1110と入退店ID欄1120と境界線上の座標欄1140を有しており、退店用テーブルとして、タイムスタンプ欄1110と入退店ID欄1120と境界線上の座標欄1140を有している2つのテーブルを用いてもよい。
このとき、入店/退店データが入店であれば、店内動線データのうち、入店からレジまでの動線と対応付ける。逆に、入店/退店データが退店であれば、店内動線データのうち、レジから退店までの動線と対応付ける。
図15の例に示す入店/退店テーブル1500の入店に関する行カラムを1つずつ取り出す。ここでは、以下の入店/退店データ(入店/退店テーブル1500内の2行目)が取り出されたものとする。
(17:22:34, 40, 入店, 4)
(17:22:34, 50, 4, 1)
(17:22:34, 51, 4, 5)
(17:22:34, 51, 4, 5)
次に残った店内動線データに対して、同じ店内動線ID(51)で、ひとつ前の時刻(17:22:33)の店内動線データを検索すると以下(店内動線テーブル1400内の13行目)が得られる。
(17:22:33, 51, 4, 6)
以上により、入退店ID=40の入店データは、店内動線ID=51の店内動線データに対応することが分かる。
得られた対応は、図16のように示すようなテーブルとして、ID対応DB150に記録される。図16は、ID対応テーブル1600のデータ構造例を示す説明図である。ID対応テーブル1600は、店内動線ID欄1610、入退店ID欄1620、入店/退店欄1630を有している。
店内動線ID欄1610は、店内動線IDを記憶している。入退店ID欄1620は、その店内動線IDに対応する入退店IDを記憶している。入店/退店欄1630は、その入退店IDは入店であるか退店であるかを記憶している。
ここでは、処理の一例として上記を示したが、逆に、図14の例に示す店内動線テーブル1400内のデータを先に選択して、対応する処理を行ってもよい。
なお、タイムスタンプのマッチングは、完全に同一でなくとも、例えば、前後0.5秒などの幅を持たせてもよい。
処理の手順は、以下の通りである。
(ステップA1)購買データDB140からレシート(レシートデータ)を1つ取り出す。
(ステップA2)店内動線DB130から、取り出したレシートと近い時刻のデータを取り出す。
(ステップA3)取り出した店内動線データの場所がレジ前になっているかをチェックする。もし、レシートにレジ番号が記載されているならば、当該レジ番号に該当するレジの前かをチェックする。
(ステップA4)取り出した店内動線データが退店する動線かどうかをチェックする。取り出した店内動線データの店内動線IDを持ち、取り出した店内動線データより未来の時刻のデータを店内動線DB130から取り出す。そのデータが、入口を店内→店外の順に越えているかを確認する。
(ステップA5)もし、この段階で複数の店内動線データが対応付け候補として残っている場合は、順序関係によって、どれに対応付くかを決める。例えば、20時15分のレシートが2つあり、今回取り出したのは、2つ目のレシートであった場合、残っている店内動線データのうち2番目の時刻のデータと対応付ける。
(ステップA6)レシートIDと店内動線IDの対応をID対応DB150に格納する。
(ステップA7)未処理のレシートが残っている場合は、ステップA1に戻る。
ステップS408による処理結果としてのデータ形式の例は、以下の通りである。
・(タイムスタンプ、店内動線ID(レジ→入口)、レシートID)
まず、入店/退店データDB132から退店の情報を時系列順に1つずつ取り出す。例えば、以下の退店情報(入店/退店テーブル1500の3行目)が取り出されたとする。
(17:30:38, 41, 退店, 2)
このときの境界線上の静止画は、「41.jpg」という名前で保存されていたとする。例えば、図17(b)に示す退店時画像1750である。この退店時画像1750には、境界線1730上の顧客1720が撮影されている。この例では、退店の方向(図17の例では上から下へ)に顧客1720が移動しているところを撮影した画像である。
次に、入店/退店データDB132から入店の情報を時系列順に1つずつ取り出し、それに対応する境界線上の静止画を「41.jpg」と順次、人物の照合をする。例えば、退店時画像1750と図17(a)に示す入店時画像1710とを照合する。入店時画像1710には、境界線1730上の顧客1720が撮影されている。この例では、入店の方向(図17の例では下から上へ)に顧客1720が移動しているところを撮影した画像である。この照合処理では、退店時画像1750を180度回転させた画像を用いるようにしてもよい。つまり、退店時と入店時では顧客は逆方向を向いているからである。画像間の類似度を算出するようにしてもよいし、両画像から特徴抽出を行い、その特徴間の類似度を算出するようにしてもよい。また、既知の人物照合手法(井尻ら 2011)で比較するようにしてもよい。
そして、41.jpgと最も近い入口真上画像をもつ入店データが、入退店ID=41の退店データと対応付くと判断し、入退店ID(入店)と入退店ID(退店)の対応をID対応DB150に保存する。
ステップS410による処理結果としてのデータ形式の例は、以下の通りである。
・(入退店ID(入店)、入退店ID(退店))
この処理を、退店データがすべて処理されるまで繰り返す。
なお、本実施の形態では、入口真上画像を用いて入店と退店の対応付けを行ったが、入口真上に設置されたカメラでなくとも、人物の照合ができる程度に入口の入退店がとらえられるカメラであればよい。
店内に設置した動線追跡用カメラで、人物の照合ができる程度に入退店をとらえることができれば、動線追跡用カメラで入店と退店の対応付けを行ってもよい。
このステップS410の説明における前述の参考文献は、以下の通りである。
「井尻 善久, 川西 康友, 村瀬 洋, 美濃 導彦. ”サーベイ論文:視野を共有しない複数カメラ間での人物照合,” パターン認識・メディア理解研究会(PRMU), 2011−11.」
本手段を実行するまでに、得られているIDの対応関係は以下の通りである。
・「店内動線ID(入口→レジ待ち列)」と「入退店ID(入店)」(入店/退店データと入口を通る動線の対応付けモジュール106による処理結果)
・「入退店ID(入店)」と「入退店ID(退店)」(入店/退店データの入店と退店のID対応付けモジュール110による処理結果)
・「入退店ID(退店)」と「店内動線ID(レジ→入口)」(入店/退店データと入口を通る動線の対応付けモジュール106による処理結果)
・「店内動線ID(レジ→入口)」と「レシートID」(レジから入口までの動線と購買データの対応付けモジュール108による処理結果)
これらから、「店内動線ID(入口→レジ待ち列)」→「入退店ID(入店)」→「入退店ID(退店)」→「店内動線ID(レジ→入口)」→「レシートID」とたどることができる。
以上により、求めたい「店内動線ID(入口→レジ待ち列)」と「レシートID」を対応付けることができる。
なお、図18に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図18に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図18に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
102…店内動線追跡記録モジュール
104…入口真上動線追跡記録モジュール
106…入店/退店データと入口を通る動線の対応付けモジュール
108…レジから入口までの動線と購買データの対応付けモジュール
110…入店/退店データの入店と退店のID対応付けモジュール
112…店内動線と購買データの対応付けモジュール
114…提示モジュール
120…撮影装置(全方位カメラ)
122…撮影装置(入口真上カメラ)
130…店内動線DB
132…入店/退店データDB
140…購買データDB
150…ID対応DB
190…表示装置
200…店舗
210…入り口
218…レジ受付台
220…レジ処理装置
230…購買データ記憶装置
290…商品棚
299…通信回線
Claims (5)
- 複数のレジがある店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第1の対応付手段と、
前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第2の対応付手段と、
前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第3の対応付手段と、
前記第1の対応付手段と第2の対応付手段と第3の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第4の対応付手段
を具備し、
前記第2の対応付手段は、前記顧客の動線に関する情報が、前記購買に関する情報で特定されるレジに該当するレジの前となっている場合に、該動線に関する情報と該購買に関する情報を対応付ける
ことを特徴とする情報処理装置。 - 前記出入口における入店又は退店した顧客に関する情報は、該出入口を上から撮影した第1の画像から抽出したものであり、
前記店舗内での顧客の動線に関する情報と店舗内の支払領域から出入口までの顧客の動線に関する情報は、店舗内を撮影した第2の画像から抽出したものである
ことを特徴とする請求項1に記載の情報処理装置。 - 前記第3の対応付手段は、入店した顧客の画像と対称となっている退店した顧客の画像を対応付けることによって、入店した顧客に関する情報と退店した顧客に関する情報を対応付ける
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 前記第4の対応付手段は、前記店舗内での顧客の動線に関する情報から前記入店した顧客に関する情報を抽出し、該入店した顧客に関する情報から前記退店した顧客に関する情報を抽出し、該退店した顧客に関する情報から前記支払領域から出入口までの顧客の動線に関する情報を抽出し、該支払領域から出入口までの顧客の動線に関する情報から前記購買に関する情報を抽出することによって、該購買に関する情報と該店舗内での顧客の動線に関する情報を対応付ける
ことを特徴とする請求項1から3のいずれか一項に記載の情報処理装置。 - コンピュータを、
複数のレジがある店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第1の対応付手段と、
前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第2の対応付手段と、
前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第3の対応付手段と、
前記第1の対応付手段と第2の対応付手段と第3の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第4の対応付手段
として機能させ、
前記第2の対応付手段は、前記顧客の動線に関する情報が、前記購買に関する情報で特定されるレジに該当するレジの前となっている場合に、該動線に関する情報と該購買に関する情報を対応付ける
情報処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040918A JP6520218B2 (ja) | 2015-03-03 | 2015-03-03 | 情報処理装置及び情報処理プログラム |
US14/804,652 US20160260106A1 (en) | 2015-03-03 | 2015-07-21 | Information processing apparatus, information processing method, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040918A JP6520218B2 (ja) | 2015-03-03 | 2015-03-03 | 情報処理装置及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016162256A JP2016162256A (ja) | 2016-09-05 |
JP6520218B2 true JP6520218B2 (ja) | 2019-05-29 |
Family
ID=56846996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015040918A Active JP6520218B2 (ja) | 2015-03-03 | 2015-03-03 | 情報処理装置及び情報処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160260106A1 (ja) |
JP (1) | JP6520218B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6792446B2 (ja) * | 2016-12-27 | 2020-11-25 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
CN107392937B (zh) | 2017-07-14 | 2023-03-14 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置及电子设备 |
JP6894398B2 (ja) * | 2018-03-28 | 2021-06-30 | Kddi株式会社 | オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム |
DE102020203461A1 (de) * | 2020-03-18 | 2021-09-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Überwachungsanlage, Verfahren, Computerprogramm und Speichermedium |
JP7420672B2 (ja) | 2020-07-17 | 2024-01-23 | 株式会社日立エルジーデータストレージ | 測距システム及び測距センサの検知強度分布表示方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8380558B1 (en) * | 2006-12-21 | 2013-02-19 | Videomining Corporation | Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data |
WO2009001827A1 (ja) * | 2007-06-26 | 2008-12-31 | Toshiba Tec Kabushiki Kaisha | 顧客行動管理装置,方法及びプログラム |
JP2010002997A (ja) * | 2008-06-18 | 2010-01-07 | Toshiba Tec Corp | 人物行動分析装置及び人物行動分析プログラム |
US8009863B1 (en) * | 2008-06-30 | 2011-08-30 | Videomining Corporation | Method and system for analyzing shopping behavior using multiple sensor tracking |
US8812344B1 (en) * | 2009-06-29 | 2014-08-19 | Videomining Corporation | Method and system for determining the impact of crowding on retail performance |
JP4802285B2 (ja) * | 2010-02-17 | 2011-10-26 | 東芝テック株式会社 | 動線関連付け方法、装置及びプログラム |
-
2015
- 2015-03-03 JP JP2015040918A patent/JP6520218B2/ja active Active
- 2015-07-21 US US14/804,652 patent/US20160260106A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20160260106A1 (en) | 2016-09-08 |
JP2016162256A (ja) | 2016-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6520218B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6730079B2 (ja) | 監視装置及びプログラム | |
JP6261197B2 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
US11049373B2 (en) | Storefront device, storefront management method, and program | |
JP2022009251A (ja) | 情報処理装置およびプログラム | |
US20190019207A1 (en) | Apparatus and method for store analysis | |
JP2022539920A (ja) | 視覚及び重力感知に基づく商品と顧客とのマッチ方法及び装置 | |
US20160063519A1 (en) | Data analysis apparatus, data analysis system, commodity exchange forecasting apparatus, commodity exchange forecasting system, data analysis method, commodity exchange forecasting method, and computer-readable medium | |
WO2021179137A1 (zh) | 结算方法、装置和*** | |
JP2020061044A (ja) | 情報処理システム | |
JP4209413B2 (ja) | 顧客動向収集システムおよび顧客動向収集プログラム | |
WO2020170854A1 (ja) | セルフposシステム、セルフpos端末装置、制御方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体 | |
JP2022048234A (ja) | 情報処理システム、顧客特定装置、情報処理方法及びプログラム | |
US20190043033A1 (en) | Point-of-sale terminal | |
JP6428062B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20170345027A1 (en) | Sales data processing apparatus and method for acquiring attribute information of customer | |
JP6418270B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2024015277A (ja) | 情報提供装置及びその制御プログラム | |
US20230169460A1 (en) | Registration device, method carried out by registration device, and non-transitory computer readable medium | |
JP6503670B2 (ja) | 商品登録装置、商品登録方法、および商品登録プログラム | |
JP2020061164A (ja) | 情報処理システム | |
JP7070674B2 (ja) | 登録システム、登録方法及びプログラム | |
JP2022012399A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
CN112700235A (zh) | 线下支付用户的识别方法、装置和电子设备 | |
WO2020170963A1 (ja) | 処理装置、処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6520218 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |