JP6648508B2 - Purchasing behavior analysis program, purchasing behavior analysis method, and purchasing behavior analysis device - Google Patents
Purchasing behavior analysis program, purchasing behavior analysis method, and purchasing behavior analysis device Download PDFInfo
- Publication number
- JP6648508B2 JP6648508B2 JP2015233615A JP2015233615A JP6648508B2 JP 6648508 B2 JP6648508 B2 JP 6648508B2 JP 2015233615 A JP2015233615 A JP 2015233615A JP 2015233615 A JP2015233615 A JP 2015233615A JP 6648508 B2 JP6648508 B2 JP 6648508B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- purchaser
- products
- store
- behavior analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 57
- 230000010365 information processing Effects 0.000 claims description 74
- 230000009471 action Effects 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 94
- 238000010586 diagram Methods 0.000 description 15
- 235000021156 lunch Nutrition 0.000 description 13
- 238000012805 post-processing Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 235000008429 bread Nutrition 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241000287828 Gallus gallus Species 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 240000006829 Ficus sundaica Species 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本件は、購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置に関する。 The present invention relates to a purchase behavior analysis program, a purchase behavior analysis method, and a purchase behavior analysis device.
店内の顧客の行動を分析する技術として、購買客と非購買客別の店内行動に関する統計量を算出可能な技術が知られている(例えば特許文献1参照)。 As a technique for analyzing the behavior of a customer in a store, a technology capable of calculating a statistic related to the behavior in a store for each of a purchaser and a non-purchaser is known (for example, see Patent Document 1).
ところで、顧客がある商品を購買する際に、購買には至らなかったが注目していた別の商品を小売店や製造業者が把握できれば、仮に顧客がその商品を購買しなくても、小売店の販売戦略や製造業者の商品開発には大きな利点がある。 By the way, when a customer purchases a certain product, if the retailer or manufacturer can grasp another product that did not make a purchase but was paying attention, if the customer did not purchase the product, There are significant benefits to the company's sales strategy and manufacturer's product development.
そこで、1つの側面では、ある商品を購買する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握できる購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置を提供することを目的とする。 Therefore, in one aspect, there is provided a purchasing behavior analysis program, a purchasing behavior analysis method, and a purchasing behavior analysis device capable of grasping the behavior of another product compared to the purchase of the product and the degree of attention to the product. Aim.
本明細書に開示の購買行動分析プログラムは、コンピュータに、店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得し、取得した前記動作情報の時刻に基づいて、前記店舗に設置されたカメラが撮像した前記購買者を含む画像を抽出し、事前に人物の動作の意味づけが行われた電子ファイルと、抽出した前記画像を変換した電子ファイルとの対比結果に基づいて、前記購買者の動作の意味を判定し、前記複数の商品のいずれかの商品の選択を受け付けた場合、判定した前記動作の意味を関連付けた前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、前記購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する、処理を実行させることを特徴とする購買行動分析プログラムである。 The purchasing behavior analysis program disclosed in the present specification is a computer, acquires the operation information of the purchaser in the store, and the line of sight information of the purchaser for a plurality of products displayed in the store, the acquired operation information Based on the time, an image including the purchaser captured by a camera installed in the store is extracted, and an electronic file in which the meaning of a person's motion is performed in advance, and an electronic file obtained by converting the extracted image Based on the comparison result with the file, determine the meaning of the action of the purchaser, when accepting the selection of any one of the plurality of products, the operation information associated with the determined meaning of the operation, Any one of the selected products with reference to the line-of-sight information and the classification information of the products stored in the storage unit based on the arrangement positions of the plurality of products in the store. For other products of the same classification, purchasing behavior analysis program that the displaying the index indicating the degree of focused as an index showing an operation of the purchaser on the display unit in the radar chart form, characterized in that to execute processing is there.
本明細書に開示の購買行動分析方法は、コンピュータが、店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得し、取得した前記動作情報の時刻に基づいて、前記店舗に設置されたカメラが撮像した前記購買者を含む画像を抽出し、事前に人物の動作の意味づけが行われた電子ファイルと、抽出した前記画像を変換した電子ファイルとの対比結果に基づいて、前記購買者の動作の意味を判定し、前記複数の商品のいずれかの商品の選択を受け付けた場合、判定した前記動作の意味を関連付けた前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、前記購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する、処理を実行することを特徴とする購買行動分析方法である。 The purchasing behavior analysis method disclosed in the present specification, the computer acquires the operation information of the purchaser in the store and the line-of-sight information of the purchaser for a plurality of products displayed in the store, the acquired operation information Based on the time, an image including the purchaser captured by a camera installed in the store is extracted, and an electronic file in which the meaning of a person's motion is performed in advance, and an electronic file obtained by converting the extracted image Based on the comparison result with the file, determine the meaning of the action of the purchaser, when accepting the selection of any one of the plurality of products, the operation information associated with the determined meaning of the operation, Refers to the line-of-sight information and the product classification information stored in the storage unit and determined based on the arrangement positions of the plurality of products in the store, and is the same as any of the selected products. To other products of classification, the displaying the index indicating the degree of focused as an index showing an operation of the purchaser on the display unit in the radar chart form, a purchasing behavior analysis method and executes the processing.
本明細書に開示の購買行動分析装置は、店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得する情報取得部と、前記情報取得部が取得した前記動作情報の時刻に基づいて、前記店舗に設置されたカメラが撮像した前記購買者を含む画像を抽出し、事前に人物の動作の意味づけが行われた電子ファイルと、抽出した前記画像を変換した電子ファイルとの対比結果に基づいて、前記購買者の動作の意味を判定し、前記複数の商品のいずれかの商品の選択を受け付けた場合、判定した前記動作の意味を関連付けた前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、前記購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する情報処理部と、を有することを特徴とする購買行動分析装置である。 The purchasing behavior analysis device disclosed in this specification is an information acquisition unit that acquires operation information of a purchaser in a store, and line-of-sight information of the purchaser for a plurality of products displayed in the store, and the information acquisition unit. Based on the time of the obtained operation information, an image including the purchaser imaged by a camera installed in the store was extracted, and an electronic file in which the meaning of the operation of the person was performed in advance, and the extracted Based on a comparison result with the electronic file obtained by converting the image, the meaning of the action of the buyer is determined, and when the selection of any one of the plurality of products is received, the meaning of the determined action is associated. and said operation information, and the sight line information, stored in the storage unit, with reference to the classification information item which is determined based on the placement position in the store of the plurality of products, both said selected Of to other items in the same category and product, and having a an information processing unit for displaying on the display unit and the index indicating the degree of focused as an index showing an operation of the purchaser radar chart form It is a purchase behavior analysis device.
本明細書に開示の購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置によれば、ある商品を購買する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握することができる。 According to the purchase behavior analysis program, the purchase behavior analysis method, and the purchase behavior analysis device disclosed in the present specification, it is possible to grasp the operation for another product compared with the purchase of a certain product and the degree of attention to the product. it can.
以下、本件を実施するための形態について図面を参照して説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
図1は、購買行動分析システムSの一例である。図2は、陳列棚10の一例を説明するための図である。図1に示すように、購買行動分析システムSは、無線センサーカメラ100−1,100−2,100−3、受信機100−4、視線センサー120−1,120−2,・・・・、及び購買行動分析装置200を構成要素として含んでいる。購買行動分析装置200は、受信機100−4、視線センサー120−1,120−2,・・・・、入力装置710、及び表示装置720と接続されている。尚、本実施形態では、図1に示すように、コンビニエンスストアを小売店の一例として説明するが、コンビニエンスストアに特に限定されず、例えばドラッグストアなどであってもよい。
FIG. 1 is an example of a purchasing behavior analysis system S. FIG. 2 is a diagram illustrating an example of the
ここで、図1に示すように、コンビニエンスストアの店舗内における通行可能な通路は予め複数の領域に区分けされている。例えば弁当類が配置される陳列棚10の前の領域にはエリアID「A」が割り当てられている。同様に、レジ前に最も近い領域にはエリアID「C」が割り当てられ、出入口に接する領域にはエリアID「G」が割り当てられている。その他の領域についても同様である。
Here, as shown in FIG. 1, a passage that can be passed in a convenience store is divided into a plurality of areas in advance. For example, an area ID “A” is assigned to an area in front of the
以下、購買行動分析システムSの各構成要素について具体的に説明する。 Hereinafter, each component of the purchasing behavior analysis system S will be specifically described.
無線センサーカメラ100−1,100−2,100−3は、店舗の天井や壁面の高所などに設置されている。図1では、3台の無線センサーカメラ100−1,100−2,100−3が設置されているが、コンビニエンスストアの規模によってその台数を増減してもよい。無線センサーカメラ100−1,100−2,100−3は、それぞれ自己の撮像領域内を撮像する。例えば無線センサーカメラ100−1はエリアID「C」が割り当てられた領域内を撮像する。無線センサーカメラ100−2はエリアID「A」、「B」、「K」がそれぞれ割り当てられた領域内を撮像する。無線センサーカメラ100−3はエリアID「G」、「P」がそれぞれ割り当てられた領域の一部、エリアID「Q」、「R」が割り当てられた領域内を撮像する。 The wireless sensor cameras 100-1, 100-2, and 100-3 are installed at a ceiling or a high place on a wall surface of a store. In FIG. 1, three wireless sensor cameras 100-1, 100-2, and 100-3 are installed, but the number may be increased or decreased depending on the scale of the convenience store. Each of the wireless sensor cameras 100-1, 100-2, and 100-3 captures an image of its own imaging area. For example, the wireless sensor camera 100-1 captures an image of an area to which an area ID “C” is assigned. The wireless sensor camera 100-2 captures an image of an area to which each of the area IDs “A”, “B”, and “K” is assigned. The wireless sensor camera 100-3 captures an image of a part of the area to which the area IDs "G" and "P" are assigned, and the area to which the area IDs "Q" and "R" are assigned.
無線センサーカメラ100−1,100−2,100−3はいずれも、撮像した画像、具体的にはカラーの動画像(以下、単に動画という。)を無線により送信する。無線センサーカメラ100−1,100−2,100−3が動画を送信すると、受信機100−4は動画を受信して購買行動分析装置200に格納する。
Each of the wireless sensor cameras 100-1, 100-2, and 100-3 wirelessly transmits a captured image, specifically, a color moving image (hereinafter, simply referred to as a moving image). When the wireless sensor cameras 100-1, 100-2, and 100-3 transmit a moving image, the receiver 100-4 receives the moving image and stores it in the purchasing
また、無線センサーカメラ100−1,100−2,100−3は撮像領域内に顧客が入るとその顧客に割り当てる識別情報(以下、動線IDという。)を生成し、その動線IDに撮像した動画に基づいて得られる位置情報、顧客の顔の向き及び撮像した時刻を関連付ける。さらに、無線センサーカメラ100−1,100−2,100−3は、撮像した動画に基づいて、顧客の年代及び性別といった属性を判断し、動線IDに属性を関連付ける。無線センサーカメラ100−1,100−2,100−3は位置情報、顧客の顔の向き、撮像した時刻及び属性を関連付けた動線IDを動線座標データとして受信機100−4に送信する。これにより、受信機100−4は入店した顧客の属性と店舗内での動線を得る。すなわち、図1において、出入口から入店した顧客がエリアID「G」、「A」、「B」、「A」、「C」、「G」の順に各領域を移動し、出入口から退店した動線を受信機100−4は得る。 When a customer enters the imaging area, the wireless sensor cameras 100-1, 100-2, and 100-3 generate identification information (hereinafter, referred to as a flow line ID) to be assigned to the customer and capture an image on the flow line ID. The position information obtained based on the obtained moving image, the direction of the customer's face, and the time at which the image was captured are associated with each other. Further, the wireless sensor cameras 100-1, 100-2, and 100-3 determine attributes such as the age and gender of the customer based on the captured moving image, and associate the attributes with the flow line ID. The wireless sensor cameras 100-1, 100-2, and 100-3 transmit to the receiver 100-4, as flow line coordinate data, a flow line ID in which the position information, the direction of the customer's face, the image capturing time, and the attribute are associated. Thereby, the receiver 100-4 obtains the attribute of the customer who entered the store and the flow line in the store. That is, in FIG. 1, the customer who entered the store from the doorway moves through each area in the order of the area IDs "G", "A", "B", "A", "C", and "G", and leaves the store from the doorway. The receiver 100-4 obtains the obtained flow line.
視線センサー120−1,120−2,・・・は、店舗に設置された陳列棚10に取り付けられる。例えば視線センサー120−1は弁当類が配置される陳列棚10に取り付けられ、視線センサー120−2はパン類が配置される陳列棚10に取り付けられる。その他の視線センサーについても同様である。ここで、図2を参照してより具体的に説明すると、例えば視線センサー120−1は陳列棚10の棚板11に取り付けられる。尚、図2では、棚板11の1つに視線センサー120−1が取り付けられているが、2つ以上の棚板11のそれぞれに視線センサー120−1が取り付けられていてもよい。
Are attached to the
視線センサー120−1,120−2,・・・はそれぞれ、赤外線などを利用して、陳列棚10の前に立つ顧客の視線を検出する。より詳しくは、視線センサー120−1は検出領域内に顧客の頭部が入るとその顧客に割り当てる識別情報(以下、視線IDという。)を生成する。次に、例えば図2に示すように、顧客の視線Vが複数の商品(具体的には弁当やおにぎりなど)間を移動すると、視線センサー120−1は移動の軌跡に応じた視線の位置情報を検出する。そして、視線センサー120−1は生成した視線IDに検出した位置情報、及び検出した時刻を関連付ける。視線センサー120−1は位置情報及び検出した時刻を関連付けた視線IDを視線座標データとして保持する。視線センサー120−2も同様である。
Each of the line-of-sight sensors 120-1, 120-2, ... detects the line of sight of a customer standing in front of the
購買行動分析装置200は、受信機100−4から動線座標データを取得する。また、購買行動分析装置200は、視線センサー120−1,120−2,・・・がそれぞれ保持する視線座標データを取得する。さらに、購買行動分析装置200は、Point Of Sales(POS)集約システム20からPOS情報を取得する。詳細は後述するが、POS情報は例えば商品の購入時刻、商品名、購入個数、購入金額などを含んでいる。購買行動分析装置200は、取得した動線座標データ、視線座標データ及びPOS情報を互いに関連付け、各種の情報処理を実行して、顧客の行動を表す行動データを生成する。購買行動分析装置200は行動データを生成すると、生成した行動データを利用して、後述する行動レシート、商品比較マップ、アクセス分析など、利用者が確認できる情報に可視化して、表示装置720の表示部721に表示する。尚、購買行動分析装置200、入力装置710、及び表示装置720は、Personal Computer(PC)といった端末装置の構成要素に含まれる。以下、購買行動分析装置200の詳細について説明する。
The purchasing
次に、図3を参照して、購買行動分析装置200のハードウェア構成について説明する。尚、図1に示す購買行動分析装置200、入力装置710及び表示装置720と同様の構成には同一符号を付している。
Next, a hardware configuration of the purchasing
図3は、購買行動分析装置200のハードウェア構成の一例である。図3に示すように、購買行動分析装置200は、少なくともCentral Processing Unit(CPU)200A、Random Access Memory(RAM)200B、Read Only Memory(ROM)200C及び入出力端子200Dを含んでいる。購買行動分析装置200は、必要に応じて、Hard Disk Drive(HDD)200E、入力I/F(インタフェース)200F、出力I/F200G、入出力I/F200H、ドライブ装置200Iの少なくとも1つを含んでいてもよい。CPU200A、・・・、ドライブ装置200Iは、内部バス200Jによって互いに接続されている。少なくともCPU200AとRAM200Bとが協働することによってコンピュータが実現される。
FIG. 3 is an example of a hardware configuration of the purchasing
入力I/F200Fには、入力装置710が接続される。入力装置710としては、例えばキーボードやマウスなどがある。
出力I/F200Gには、表示装置720が接続される。表示装置720としては、例えば液晶ディスプレイがある。
入出力I/F200Hには、半導体メモリ730や視線センサー120−1,120−2,・・・が接続される。半導体メモリ730としては、例えばUniversal Serial Bus(USB)メモリやフラッシュメモリなどがある。入出力I/F200Hは、半導体メモリ730に記憶されたプログラムやデータを読み取る。
入力I/F200F及び入出力I/F200Hは、例えばUSBポートを備えている。出力I/F200Gは、例えばディスプレイポートを備えている。
The
The
The
The input I /
ドライブ装置200Iには、可搬型記録媒体740が挿入される。可搬型記録媒体740としては、例えばCompact Disc(CD)−ROM、Digital Versatile Disc(DVD)といったリムーバブルディスクがある。ドライブ装置200Iは、可搬型記録媒体740に記録されたプログラムやデータを読み込む。
入出力端子200Dには、受信機100−4が接続される。
A portable recording medium 740 is inserted into the drive device 200I. Examples of the portable recording medium 740 include a removable disk such as a Compact Disc (CD) -ROM and a Digital Versatile Disc (DVD). The drive device 200I reads a program or data recorded on the portable recording medium 740.
The receiver 100-4 is connected to the input /
上述したRAM200Bには、ROM200CやHDD200Eに記憶されたプログラムがCPU200Aによって格納される。RAM200Bには、可搬型記録媒体740に記録されたプログラムがCPU200Aによって格納される。格納されたプログラムをCPU200Aが実行することにより、後述する各種の機能が実現され、また、後述する各種の動作が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
The programs stored in the
次に、図4を参照して、購買行動分析装置200の各機能について説明する。
Next, each function of the purchasing
図4は、購買行動分析装置200の機能ブロック図の一例である。図4に示すように、購買行動分析装置200は動画記憶部201、店内エリア記憶部202、商品配置記憶部203、情報取得部204、情報処理部205、及び行動データ記憶部206を含んでいる。
FIG. 4 is an example of a functional block diagram of the purchasing
動画記憶部201は動画を記憶する。上述したように、動画記憶部201には受信機100−4が受信した動画が格納される。動画は無線センサーカメラ100−1,100−2,100−3から無線ネットワークNWを介して受信機100−4に送信される。
店内エリア記憶部202は店内エリアマスタデータを記憶する。後に図11を用いて説明するが、店内エリアマスタデータは、上述した各領域を識別するエリアID、各領域の名称であるエリア名、各領域を特定する左上及び右下の各位置情報、その領域内で顧客が向ける顔の方向を含んでいる。
The moving
The in-store
商品配置記憶部203は商品配置マスタデータを記憶する。後に図12を用いて説明するが、商品配置マスタデータは、陳列棚10を複数の領域に区分けした場合における各領域を特定する左上及び右下の各位置情報、及び各領域に配置される商品の名称を上述したエリアIDと関連付けて含んでいる。
The product
情報取得部204は、受信機100−4から店舗における購買者の動線座標データを取得する。購買者は購買予定者であって、実際に購買した者と購買には至らなかった者の双方が含まれる。また、情報取得部204は、視線センサー100−1,100−2,・・・がそれぞれ保持する視線座標データを取得する。さらに、情報取得部204は、POS集約システム20からPOS情報を取得する。情報取得部204は取得した動線座標データ、視線座標データ及びPOS情報を情報処理部205に出力する。
The
情報処理部205は、動線座標データ、視線座標データ及びPOS情報を取得すると、動画記憶部201に記憶された動画、店内エリア記憶部202に記憶された店内エリアマスタデータ、及び商品配置記憶部203に記憶された商品配置マスタデータをそれぞれ抽出する。そして、情報処理部205は、動線座標データ、視線座標データ、POS情報、動画、店内エリアマスタデータ、商品配置マスタデータを利用して各種の情報処理(データ処理)を実行する。例えば、情報処理部205は、店内エリアマスタデータ及び商品配置マスタデータを利用して、動線座標データ、視線座標データ及びPOS情報を互いに紐付け(関連付け)て、第1の行動データを生成する。その後、情報処理部205は、第1の行動データに対し陳列棚10の前で行った行動の時間を計測したり回数を計測したりした棚前行動を紐付け、第2の行動データとして行動データ記憶部206に格納する。これにより、行動データ記憶部206は顧客の店舗内の行動を表す第2の行動データを記憶する。
When the
また、情報処理部205は、行動データ記憶部206に記憶された第2の行動データを抽出し、利用者が確認できる情報に可視化して、表示装置720の表示部721に表示する。例えば、情報処理部205は、複数の商品のいずれかの商品の選択(例えば購入)を受け付けた場合、第2の行動データに基づいて商品配置マスタデータ及び店内エリアマスタデータから決定される商品の分類情報(例えば弁当類、パン類など)を参照し、選択されたいずれかの商品と同一の分類の他の商品に対する、購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部721に表示する。
In addition, the
次に、図5から図17を参照して、購買行動分析装置200の動作について説明する。
Next, the operation of the purchase
図5は、購買行動分析装置200が実行する情報処理の一例を示すフローチャートである。図6は、教師データ生成処理の一例を示すフローチャートである。図7及び図8は、教師データを生成する様子の一例を説明するための図である。
FIG. 5 is a flowchart illustrating an example of information processing performed by the purchase
まず、図5に示すように、情報処理部205は教師データ生成処理を実行する(ステップS101)。より詳しくは、図6に示すように、情報処理部205は撮像画像から背景画像を削除する(ステップS201)。撮像画像は予め用意される。撮像画像は、図7(a)に示すように、人物Mを含む特定の撮像領域内を撮像した静止画像(以下、静止画という。)である。人物Mは顧客であってもよいし顧客以外であってもよい。図7(a)では、人物Mが商品を手に取る動作を表している。また、図7(b)に示すように、人物Mを含まない同じ特定の撮像領域内を撮像した静止画も背景画像として用意される。尚、本実施形態では、撮像画像及び背景画像はいずれも無線センサーカメラ100−2によって撮像された画像である。
First, as shown in FIG. 5, the
情報処理部205は、このように事前に用意された撮像画像から背景画像を削除する。これにより、図7(c)に示すように、撮像画像から背景画像が削除された差分画像が生成される。差分画像では人物Mが残存する。ステップS201の処理が完了すると、次いで、情報処理部205は差分画像をモノクロ化する(ステップS202)。モノクロ化は例えばグレースケール化などとも呼ばれる。これにより、図8(a)に示すように、差分画像に含まれた人物Mはグレー色と黒色の少なくとも一方を含む画像領域に置き換えられる。尚、図8(a)ではハッチングでグレー色を示しており、ハッチングの太さにより濃淡の相違を表現している。これにより、人物Mの動作を表しつつ、人物Mを特定できない形式に変換される。したがって、人物Mのプライバシーが保護される。
The
ステップS202の処理が完了すると、次いで、情報処理部205はモノクロ化された差分画像をCSVファイルに変換する(ステップS203)。より詳しくは、図8(b)に示すように、情報処理部205モノクロ化された差分画像を上から順に走査し、図8(c)に示すように、白色を表す部分を「0」に、グレー色から黒色までを表す部分を「0より大きく1以下の実数」に置き換えたCSVファイル30を生成する。これにより、モノクロ化された差分画像は、商品を手に取る動作を表すCSVファイル30に変換される。ステップS203の処理が完了すると、次いで、情報処理部205はCSVファイル30に意味づけを行う(ステップS204)。具体的には、利用者が入力装置710を操作してCSVファイル30に対する動作内容を入力すると、情報処理部205は入力された動作内容に基づいて、図8(d)に示すように、「0以上1以下の実数」が特定の順序で並んだこのCSVファイル30が動作「手に取る」を表していることを意味づける。
When the process of step S202 is completed, the
ステップS204の処理が完了すると、情報処理部205はDeep Learning(深層学習、以下、単にDLという。)を実行する(ステップS205)。具体的には、予め用意された意味づけされていない多数の撮像画像を、既に説明した手法によりCSVファイル(不図示)に変換しておき、これらのCSVファイルを既に意味づけされたCSVファイル30と対比して、多数のCSVファイルのそれぞれに対し意味づけを行う。したがって、意味づけされていない多数のCSVファイルの中に動作「手に取る」とはわずかに異なる動作が含まれている場合、意味づけされていない多数のCSVファイルとCSVファイル30とを対比した結果、完全には一致しなくても情報処理部205はわずかに異なる動作を動作「手に取る」と意味づける。逆に、意味づけされていない多数のCSVファイルの中に動作「手に取る」とは大きく異なる動作が含まれている場合、多数のCSVファイルとCSVファイル30とを対比した場合、両者が大きく異なるため情報処理部205はその動作に対し動作「手に取る」を意味づけない。
When the process of step S204 is completed, the
したがって、図7及び図8では、動作「手に取る」を一例として説明したが、同様の処理により、動作「見る」、動作「かごに入れる」などを意味づけた数パターンのCSVファイルも生成し、DLを実行すれば、動作「手に取る」が意味づけられなかった残りの撮像画像のCSVファイルに対しても動作「見る」や動作「かごに入れる」などが意味づけられる。これにより、動作が多種多様に渡る撮像画像のCSVファイルに対し、予め定めた数パターンの動作が意味づけされる。動作が意味づけされたCSVファイルは教師データと呼ばれる。 Therefore, in FIG. 7 and FIG. 8, the operation “take by hand” has been described as an example, but a CSV file of several patterns that means the operation “see” and the operation “put in the basket” is generated by the same processing. However, if the DL is executed, the operation “view” or the operation “put in the basket” is also applied to the CSV file of the remaining captured image for which the operation “take in hand” is not applied. As a result, a predetermined number of patterns of operations are defined for a CSV file of a captured image having various operations. The CSV file whose operation is defined is called teacher data.
図5に戻り、ステップS101の処理が完了すると、次いで、情報取得部204は動線座標データと視線座標データを取得する(ステップS102)。ステップS102の処理が完了すると、次いで、情報取得部204はPOS情報があるか否かを判断する(ステップS103)。より詳しくは、情報取得部204はPOS集約システム20にアクセスし、POS集約システム20にPOS情報が格納されているか否かを判断する。情報取得部204はPOS集約システム20にPOS情報があると判断した場合(ステップS103:YES)、情報取得部204はPOS情報を取得し、情報処理部205が動線座標データにPOS情報を紐付ける(ステップS104)。一方、情報取得部204はPOS集約システム20にPOS情報がないと判断した場合(ステップS103:NO)、ステップS104の処理をスキップする。さらに、ステップS103又はS104の処理が完了すると、動線座標データと視線座標データを紐付けて、第1の行動データを生成する(ステップS105)。
Returning to FIG. 5, when the process of step S101 is completed, the
ここで、図9から図13を参照して、動線座標データにPOS情報を紐付けるまでの処理を具体的に説明する。図9は、動線座標データの一例である。図10は、POS情報を紐付けた動線座標データの一例である。図11は、動線座標データの加工例を説明するための図である。図12は、視線座標データの加工例を説明するための図である。図13は、加工後動線データと加工後視線データの紐付けを説明するための図である。図9に示す動線座標データは、図1を参照して説明した顧客の動線を表している。情報取得部204は例えば図9に示す動線座標データを取得する。
Here, with reference to FIG. 9 to FIG. 13, a process until the POS information is linked to the flow line coordinate data will be specifically described. FIG. 9 is an example of flow line coordinate data. FIG. 10 is an example of flow line coordinate data linked to POS information. FIG. 11 is a diagram for describing an example of processing flow line coordinate data. FIG. 12 is a diagram for explaining an example of processing the line-of-sight coordinate data. FIG. 13 is a diagram for explaining linking of the post-processing flow line data and the post-processing line-of-sight data. The flow line coordinate data shown in FIG. 9 represents the flow line of the customer described with reference to FIG. The
情報処理部205は情報取得部204が取得した動線座標データを加工する。具体的には、まず、情報処理部205はPOS情報に記録された購入時刻を基準に購入時刻前後の一定期間の動線座標データを抽出する。例えば、図10に示すように、購入時刻が10時11分02秒である場合、図9に示す動線座標データから購入時刻の62秒前の動線座標データから購入時刻の3秒後までの動線座標データを抽出する。一定期間は設計などに応じて予め定めればよい。これにより、図9に示す動線座標データの中から10時10分00秒から10時11分05秒までの動線座標データに絞り込まれる。情報処理部205は、このように絞り込まれた動線座標データの中から、位置座標がPOS集約システム20の前の領域、すなわち、エリアID「C」が割り当てられた領域(図1参照)の動線座標データに対し、POS情報を紐付ける。したがって、図10に示すように、10時10分07秒から10時11分05秒までの動線座標データにPOS情報が紐付けられる。
The
その後、図11に示すように、情報処理部205は、店内エリアマスタデータを利用して、POS情報を紐付けた動線座標データを加工する。具体的には、情報処理部205はPOS情報を紐付けた動線座標データの位置座標X,Y及び顔の向きと店内エリアマスタデータに登録された位置座標及び顔の向きとをマッチングし、何時から何時まで顧客がどのエリアに滞在していたかを表す加工後動線データを生成する。尚、図11において、POS情報を紐付けた動線座標データにおけるPOS情報の一部は省略されて示されている。情報処理部205は生成した加工後動線データを後述する動作判定処理で利用するため、一時的に保持する。
Thereafter, as shown in FIG. 11, the
一方、図12に示すように、情報処理部205は、商品配置マスタデータを利用して、視線座標データを加工する。具体的には、情報処理部205は視線座標データの位置座標X,Yと商品配置マスタデータに登録された位置座標とをマッチングし、顧客がどのエリアでいつからどの商品に注目していたかを表す加工後視線データを生成する。
On the other hand, as shown in FIG. 12, the
そして、図13に示すように、情報処理部205は、加工後動線座標データと加工後視線座標データを紐付けて、行動データを生成する。具体的には、情報処理部205は加工後動線座標データのエリアIDと加工後視線座標データのエリアIDをマッチングするとともに、加工後動線座標データの開始時刻及び終了時刻と加工後視線座標データの時刻とをマッチングして、第1の行動データを生成する。これにより、顧客が滞在した領域、滞在した時刻、その領域で注目した商品と、実際に購買した商品など表す第1の行動データが生成される。
Then, as illustrated in FIG. 13, the
図5に戻り、ステップS105の処理が完了すると、次いで、情報処理部205は動作判定処理を実行する(ステップS106)。より詳しくは、図14に示すように、情報処理部205は動画を静止画に変換する(ステップS301)。動画は動画記憶部201に記憶されているため、情報処理部205は動画記憶部201から動画を抽出する。ここで、上述したように、情報処理部205は加工後動線データを保持している。したがって、図15に示すように、情報処理部205は陳列棚10の前の領域(例えば、エリアID「A」の領域)で一定時間(例えば2秒)以上滞留している動線IDの時間帯を特定し、特定した時間帯の動画を動画記憶部201から動画を抽出する。そして、情報処理部205は抽出した動画を1秒単位の静止画に変換する。これにより、抽出した動画から複数の静止画が生成される。
Returning to FIG. 5, when the process of step S105 is completed, next, the
ステップS301の処理が完了すると、次いで、情報処理部205は静止画から背景画像を削除し(ステップS302)、背景画像を削除した静止画をモノクロ化する(ステップS303)。ステップS303の処理が完了すると、次いで、情報処理部205はモノクロ化された静止画をCSVファイルに変換する(ステップS304)。ステップS304の処理が完了すると、次いで、情報処理部205はDLを実行する(ステップS305)。ステップS305の処理で実行されるDLは動作判定であり、ステップS101の処理で生成された教師データを利用して行われる。すなわち、ステップS304の処理によるCSVファイルには、まだ意味づけが行われていない。
When the process of step S301 is completed, next, the
一方、ステップS101の処理で生成された教師データは意味づけが行われたCSVファイルである。したがって、情報処理部205が教師データを利用してDLを実行することで、まだ意味づけが行われていないCSVファイルに対し意味づけが行われる。これにより、図15に示すように、各静止画に意味づけが行われる。すなわち、時刻10時10分00秒の静止画は、動作判定の結果、動作「見る」が意味づけされ、時刻10時10分01秒及び02秒の静止画は、動作判定の結果、動作「手に取る」が意味づけされる。
On the other hand, the teacher data generated in the processing of step S101 is a CSV file with meaning. Therefore, when the
さらに、図16に示すように、情報処理部205は、動作判定の対象となった加工後動線データの一部に、動作判定された画像判定結果を紐付け、ディシジョンスピードと注目時間を計測し、手に取った回数と注目回数を計数する。ディシジョンスピードは動作「見る」を開始してから動作「手に取る」を開始するまでの時間である。したがって、本実施形態では、図16に示すように、情報処理部205はディシジョンスピードを2秒と計測する。また、情報処理部205は動作「見る」に対応する注目時間を1秒と計測する。一方、情報処理部205は、画像判定結果における動作判定に登録された内容を確認し、同じ動作が連続していれば1つの動作として計数し、同じ動作が不連続であればそれぞれを1つの動作として計数する。したがって、本実施形態では、図16に示すように、情報処理部205は手に取った回数を1回と計数する。また、情報処理部205は動作「見る」に対応する注目回数を1回と計測する。
Further, as shown in FIG. 16, the
情報処理部205は計測及び計数を終えると、図16に示すように、陳列棚10の前での行動である棚前行動、すなわち、ディシジョンスピード、注目時間、手に取った回数、及び注目時間を加工後動線データに紐付ける。さらに、情報処理部205はステップS105の処理で生成した行動データに棚前行動を紐付ける。情報処理部205は、棚前行動が紐付けられた加工後動線データ(図16参照)の動線ID、エリアID、開始時刻と第1の行動データ(図13参照)の動線ID、エリアID、時刻をマッチングし、マッチングした行動データに棚前行動を紐付けて行動データ記憶部106に格納する。これにより、図17に示すように、行動データ記憶部106は、棚前行動が紐付けられた第2の行動データを記憶する。尚、第2の行動データは一例であって、後述する出力形式の全てを表すものではない。
When the
図5に戻り、ステップS106の処理が完了すると、情報処理部205は可視化して表示部721に表示する(ステップS107)。すなわち、情報処理部205は行動データ記憶部206から第2の行動データを抽出し、利用者(例えば小売店や製造業者の担当者など)が顧客行動を把握し易い種々の出力形式に変換して表示部721に表示する。
Returning to FIG. 5, when the process of step S106 is completed, the
以下、図18から図22を参照して、種々の出力形式の具体例を説明する。 Hereinafter, specific examples of various output formats will be described with reference to FIGS.
図18は、行動レシート形式で出力した画面表示の一例である。図18に示すように、情報処理部205は表示部721に行動レシートを表示する。行動レシートは店舗内を移動して種々の動作を行った顧客の行動を表した出力結果である。行動レシートには、行動データの内容が時系列に従って表示される。例えば、実際に商品「焼肉弁当」を購買していれば、購買を表す旨の表示である購入、購入金額「580円」及びディシジョンスピード「2秒」が表示される。また、購買には至らなかった商品「クリームパン」や「おにぎり」であれば、注目したにすぎない商品である旨が表示される。設計により注目時間や注目回数を表示させてもよい。
FIG. 18 is an example of a screen display output in the action receipt format. As illustrated in FIG. 18, the
尚、注目した商品について行動データは購入金額を保有していないため、例えば商品配置マスタデータに各商品の単価を予め紐付けておき、商品配置マスタデータの各商品に紐付けられた単価を表示するようにすればよい。行動レシート形式の画面表示により、利用者はある商品を購入する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握することができる。 In addition, since the action data does not have the purchase price of the focused product, for example, the unit price of each product is previously linked to the product placement master data, and the unit price linked to each product in the product placement master data is displayed. What should I do? The screen display in the action receipt format allows the user to grasp the behavior of another product compared with the purchase of a certain product and the degree of attention to the product.
図19は、商品比較マップ形式で出力した画面表示の一例である。図19に示すように、情報処理部205は表示部721に商品比較マップを表示する。商品比較マップは複数の商品の中から選択されて購入された商品と同一の分類の他の商品に対する、購買者の動作を示す指標と注目した度合いを示す指標とを動作毎にレーダーチャート形式で表した出力結果である。
FIG. 19 is an example of a screen display output in the product comparison map format. As shown in FIG. 19, the
例えば、実際に商品「焼肉弁当」を購買していれば、レーダーチャート上に購入商品「焼肉弁当」が表示されるとともに、商品「焼肉弁当」が属する分類「弁当類」の中で比較された他の商品の商品名とその商品に対する比較度合又は比較時間が表示される。具体的には、顧客が商品「焼肉弁当」を購買する際に他の商品「鶏唐弁当」を比較していれば、見る動作に対応する注目が2秒又は2回であったことを示し、手に取る動作が5秒又は5回であったことを示す。尚、比較度合又は比較時間のどちらの形式で表示させるかは設計に応じて決定すればよく、例えば表示形式を選択するための選択ボタンを商品比較マップのいずれかの領域に設けてもよい。 For example, if you have actually purchased the product "Yakiniku bento", the purchased product "Yakiniku bento" is displayed on the radar chart, and it was compared in the classification "Bento class" to which the product "Yakiniku lunch" belongs The product name of another product and the degree of comparison or the comparison time for that product are displayed. Specifically, when the customer purchases the product “Yakiniku lunch” and compares the other product “Chicken lunch”, it indicates that the attention corresponding to the watching action was 2 seconds or 2 times. , Indicates that the user took five seconds or five times. It should be noted that the format of the comparison degree or the comparison time may be determined according to the design. For example, a selection button for selecting the display format may be provided in any area of the product comparison map.
商品比較マップ形式の画面表示により、利用者はある商品を購入する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握することができる。例えば注目を表す面積が小さい、すなわち視線は種々の商品に向けられるものの1つの商品を注目している時間が短く、手に取る動作を表す面積が小さい、すなわち手に取る動作の時間が短ければ、商品の購入を決定するまでが時間が速かったと判断することができる。すなわち、顧客は目的を持って店舗に入店し、目的の商品を発見し、購買するに至ったと分析することができる。 With the screen display in the product comparison map format, the user can grasp the behavior of another product compared with the purchase of a certain product and the degree of attention to the product. For example, if the area representing attention is small, that is, the line of sight is directed to various commodities, but the time during which attention is focused on one product is short, and the area representing the action taken by the hand is small, that is, if the time taken by the hand is short, Thus, it can be determined that the time until the purchase of the product is determined is quick. That is, it can be analyzed that the customer enters the store with a purpose, finds the desired product, and has purchased the product.
図20は、アクセス分析形式で出力した画面表示の一例である。図21は、ヒートマップの一例である。図22は、注目度と売上個数の関係を示すグラフの一例である。図20から図22に示すように、情報処理部205は表示部721にアクセス分析、ヒートマップ及びグラフをそれぞれ表示する。アクセス分析は、図20に示すように、第2の行動データに基づいて特定される、店舗における購買者の移動のパターンを、該移動の中で購買者が立ち寄った商品の種別(例えば弁当類や雑誌類など)を選択可能に表示した樹形図(ツリー図)である。これにより、顧客にとって目的意識や注目度の高い商品種別を把握することができる。図20では、例えば入店した顧客が100人いた場合、はじめに商品の種別「弁当類」に50人が向かい、消費の種別「雑誌類」に20人が向かったことなどを表している。情報処理部205は選択された時間帯、性別及び年代のアクセス分析を表示する。
FIG. 20 is an example of a screen display output in the access analysis format. FIG. 21 is an example of a heat map. FIG. 22 is an example of a graph showing the relationship between the degree of attention and the number of units sold. As shown in FIGS. 20 to 22, the
表示されたパターンに含まれる商品の種別からいずれかの商品の種別が選択されると、情報処理部205は、選択された商品の種別に含まれる商品について、選択された商品の種別を含む移動パターンで立ち寄った場合の詳細情報を表示する。詳細情報としては、例えば図21に示すヒートマップや図22に示すグラフなどがある。例えば、図20に示すように、ポインタPtにより2番目に訪れた領域に対応する商品の種別「弁当類」を選択すると、情報処理部205は、図21に示すヒートマップHMを表示する。
When any product type is selected from the product types included in the displayed pattern, the
ヒートマップHMは、陳列棚10の各領域内の位置と対応付けて位置に対する購買者としての顧客の注目の度合いを示している。また、ヒートマップHMには、複数の商品それぞれに対する購買者の動作の度合いに応じて表示サイズが決定される図形または文字が、ヒートマップHMにおける複数の商品それぞれに対応する位置に重畳されている。ヒートマップHMに、複数の商品それぞれに対する購買者の動作の度合いに応じて表示サイズが決定される図形及び購買者の動作の度合いに関わらずに予め表示サイズが決定された文字が、ヒートマップHMにおける複数の商品それぞれに対応する位置に重畳されていてもよい。本実施形態では図形の一例として円を利用している。ヒートマップHMが表示された表示領域とは異なる表示領域には、上述した移動のパターンが表示される。したがって、本実施形態では、入店して雑誌類が配置されたエリアID「Q」又は「R」の領域に滞在した後、弁当類が配置されたエリアID「A」の領域に来た顧客の移動のパターンが示されており、このようなパターンで弁当類の領域に来た顧客の注目の度合いがヒートマップHMにより示されている。
The heat map HM indicates the degree of attention of the customer as a purchaser to the position in association with the position in each area of the
例えば購入商品「焼肉弁当」に対する注目度は他の商品「鶏唐弁当」などより高いことがヒートマップHMにより示され、購入商品に対して手に取る動作を行った回数も他の商品などよりも多かったことが円CRの大きさにより示されている。ヒートマップ形式の画面表示により、利用者はある商品を購入する際に比較した別の商品に対する動作と該商品に対する注目度合いを把握することができる。 For example, the heat map HM indicates that the degree of attention to the purchased product “Yakiniku lunch” is higher than that of other products such as “Chicken lunch”, and the number of times the purchased product is picked up is also higher than other products. This is indicated by the size of the circle CR. The screen display in the heat map format allows the user to grasp the behavior of another product compared to the purchase of a certain product and the degree of attention to the product.
ここで、ヒートマップHMが表示された表示領域及び移動のパターンが表示された表示領域とは異なる表示領域に設けられた画面切替ボタンBtがポインタPtにより押下されると、情報処理部205は図22に示すグラフを表示する。このように、注目度と売上個数のグラフが表示されることで、利用者は注目度と売上個数の相関を分析することができる。図22に示すグラフ部分の表示領域とは異なる表示領域に設けられた画面切替ボタンBt´がポインタPtにより押下されると、情報処理部205は再びヒートマップを表示する。
Here, when the screen switching button Bt provided in the display area different from the display area where the heat map HM is displayed and the display area where the movement pattern is displayed is pressed by the pointer Pt, the
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば上述した実施形態では無線センサーカメラ120−1,120−2,120−3を利用したが、通信形式は無線に限定されず、有線であってもよい。また、購買行動分析装置200、入力装置710及び表示装置720を含む端末装置は据置型(デスクトップタイプ)を一例として説明したが、ノート型であってもよい。さらに、動作判定の精度を向上させるために、モノクロ化を実行した直後に、ノイズを除去する処理を含めてもよい。
As described above, the preferred embodiment of the present invention has been described in detail. However, the present invention is not limited to the specific embodiment according to the present invention, and various modifications may be made within the scope of the present invention described in the appended claims.・ Change is possible. For example, in the above-described embodiment, the wireless sensor cameras 120-1, 120-2, and 120-3 are used, but the communication format is not limited to wireless, but may be wired. Further, the terminal device including the purchasing
なお、以上の説明に関して更に以下の付記を開示する。
(付記1)コンピュータに、店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得し、前記複数の商品のいずれかの商品の選択を受け付けた場合、取得した前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する、処理を実行させることを特徴とする購買行動分析プログラム。
(付記2)前記処理は、前記購買者の動作を示す指標と前記注目した度合いを示す指標とを同一のレーダーチャート上に表示することを特徴とする付記1に記載の購買行動分析プログラム。
(付記3)前記処理は、前記いずれかの商品と前記他の商品とを比較した回数又は時間を前記指標として表示することを特徴とする付記1又は2に記載の購買行動分析プログラム。
(付記4)前記処理は、前記いずれかの商品と前記他の商品とを動作及び注目のそれぞれにより比較した回数又は時間を前記指標として表示することを特徴とする付記1から3のいずれか1項に記載の購買行動分析プログラム。
(付記5)前記処理は、前記購買者の動作を含む動画像から変換される複数の静止画像の中に連続した同じ動作が含まれている場合に、前記連続した同じ動作を1つの動作として計数することを特徴とする付記1から4のいずれか1項に記載の購買行動分析プログラム。
(付記6)前記処理は、前記いずれかの商品又は前記他の商品を注目し始めた第1時刻から前記いずれかの商品又は前記他の商品を手に取り始めた第2時刻までの時間を前記指標として表示することを特徴とする付記1から5のいずれか1項に記載の購買行動分析プログラム。
(付記7)コンピュータが、店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得し、前記複数の商品のいずれかの商品の選択を受け付けた場合、取得した前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する、処理を実行することを特徴とする購買行動分析方法。
(付記8)店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得する情報取得部と、前記複数の商品のいずれかの商品の選択を受け付けた場合、前記情報取得部が取得した前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する情報処理部と、を有することを特徴とする購買行動分析装置。
(付記9)前記情報処理部は、前記購買者の動作を示す指標と前記注目した度合いを示す指標とを同一のレーダーチャート上に表示することを特徴とする付記8に記載の購買行動分析装置。
(付記10)前記情報処理部は、前記いずれかの商品と前記他の商品とを比較した回数又は時間を前記指標として表示することを特徴とする付記8又は9に記載の購買行動分析装置。
(付記11)前記情報処理部は、前記いずれかの商品と前記他の商品とを動作及び注目のそれぞれにより比較した回数又は時間を前記指標として表示することを特徴とする付記8から10のいずれか1項に記載の購買行動分析装置。
(付記12)前記情報処理部は、前記購買者の動作を含む動画像から変換される複数の静止画像の中に連続した同じ動作が含まれている場合に、前記連続した同じ動作を1つの動作として計数することを特徴とする付記8から11のいずれか1項に記載の購買行動分析装置。
(付記13)前記情報処理部は、前記いずれかの商品又は前記他の商品を注目し始めた第1時刻から前記いずれかの商品又は前記他の商品を手に取り始めた第2時刻までの時間を前記指標として表示することを特徴とする付記8から12のいずれか1項に記載の購買行動分析装置。
In addition, the following supplementary notes are further disclosed with respect to the above description.
(Supplementary Note 1) A computer acquires operation information of a purchaser in a store and line-of-sight information of the purchaser for a plurality of products displayed in the store, and receives selection of any one of the plurality of products. In this case, the obtained operation information, the line-of-sight information, and the product classification information determined based on the location of the plurality of products in the store stored in the storage unit are referred to. Displaying an index indicating the behavior of the purchaser and an index indicating the degree of attention on a display unit in a radar chart format for other products of the same classification as any one of the products. Purchasing behavior analysis program.
(Supplementary note 2) The purchasing behavior analysis program according to
(Supplementary Note 3) The purchasing behavior analysis program according to
(Supplementary Note 4) The processing according to any one of
(Supplementary Note 5) In the process, when a plurality of still images converted from a moving image including the purchaser's motion include the same continuous motion, the continuous same motion is regarded as one motion. 5. The purchasing behavior analysis program according to any one of
(Supplementary Note 6) The processing includes a time period from a first time when the user starts paying attention to the one of the products or the other products to a second time when the user starts to pick up the one of the products or the other products. The purchasing behavior analysis program according to any one of
(Supplementary Note 7) A computer acquires operation information of a purchaser in a store and line-of-sight information of the purchaser for a plurality of products displayed in the store, and receives selection of any one of the plurality of products. In this case, the obtained operation information, the line-of-sight information, and the product classification information determined based on the location of the plurality of products in the store stored in the storage unit are referred to. Performing a process of displaying, on a display unit, an index indicating a purchaser's operation and an index indicating a degree of attention on a display unit in the form of a radar chart for other products of the same classification as any one of the products. Purchasing behavior analysis method.
(Supplementary Note 8) An information acquisition unit that acquires operation information of a purchaser in a store and line-of-sight information of the purchaser for a plurality of products displayed in the store, and selects one of the plurality of products. If received, the operation information acquired by the information acquisition unit, the line-of-sight information, and stored in the storage unit, the classification information of the product determined based on the location of the plurality of products in the store, And an information processing unit for displaying, on a display unit, an index indicating a purchaser's operation and an index indicating a degree of attention with respect to another product of the same classification as the selected one of the products on a display unit. And a purchasing behavior analyzer.
(Supplementary note 9) The purchasing behavior analysis device according to
(Supplementary note 10) The purchasing behavior analysis device according to
(Supplementary note 11) The information processing unit according to any one of
(Supplementary Note 12) When the plurality of still images converted from the moving image including the purchaser's motion include the same continuous motion, the information processing unit 12. The purchasing behavior analysis device according to any one of
(Supplementary Note 13) The information processing unit is configured to perform a process from a first time when the user starts paying attention to the one of the products or the other products to a second time when the user starts to pick up the one of the products or the other products. 13. The purchasing behavior analysis device according to any one of
S 購買行動分析システム
100−1,100−2,100−3 無線センサーカメラ
100−4 受信機
120−1,120−2 視線センサー
200 購買行動分析装置
201 動画記憶部
202 店内エリア記憶部
203 商品配置記憶部
204 情報取得部
205 情報処理部
206 行動データ記憶部
710 入力装置
720 表示装置
721 表示部
S Purchasing behavior analysis system 100-1, 100-2, 100-3 Wireless sensor camera 100-4 Receiver 120-1, 120-2
Claims (8)
店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得し、
取得した前記動作情報の時刻に基づいて、前記店舗に設置されたカメラが撮像した前記購買者を含む画像を抽出し、
事前に人物の動作の意味づけが行われた電子ファイルと、抽出した前記画像を変換した電子ファイルとの対比結果に基づいて、前記購買者の動作の意味を判定し、
前記複数の商品のいずれかの商品の選択を受け付けた場合、判定した前記動作の意味を関連付けた前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、前記購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する、
処理を実行させることを特徴とする購買行動分析プログラム。 On the computer,
Acquisition of the operation information of the purchaser in the store and the line of sight information of the purchaser for a plurality of products displayed in the store,
Based on the obtained time of the operation information, extract an image including the purchaser captured by a camera installed in the store,
Based on the comparison result between the electronic file in which the meaning of the motion of the person was performed in advance and the electronic file obtained by converting the extracted image, the meaning of the motion of the purchaser is determined,
When the selection of any one of the plurality of products is received, the operation information in which the determined meaning of the operation is associated , the line-of-sight information, and the storage unit are stored in the store of the plurality of products. Referring to the classification information item which is determined based on the placement position, shown relative to the other items of said selected one of the same classification and product, the degree of focused as an index showing an operation of the purchaser Indices and indicators are displayed on the display in radar chart format,
A purchasing behavior analysis program characterized by executing processing.
店舗における購買者の動作情報と、前記店舗に陳列された複数の商品に対する前記購買者の視線情報とを取得し、
取得した前記動作情報の時刻に基づいて、前記店舗に設置されたカメラが撮像した前記購買者を含む画像を抽出し、
事前に人物の動作の意味づけが行われた電子ファイルと、抽出した前記画像を変換した電子ファイルとの対比結果に基づいて、前記購買者の動作の意味を判定し、
前記複数の商品のいずれかの商品の選択を受け付けた場合、判定した前記動作の意味を関連付けた前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、前記購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する、
処理を実行することを特徴とする購買行動分析方法。 Computer
Acquisition of the operation information of the purchaser in the store and the line of sight information of the purchaser for a plurality of products displayed in the store,
Based on the obtained time of the operation information, extract an image including the purchaser captured by a camera installed in the store,
Based on the comparison result between the electronic file in which the meaning of the motion of the person was performed in advance and the electronic file obtained by converting the extracted image, the meaning of the motion of the purchaser is determined,
When the selection of any one of the plurality of products is received, the operation information in which the determined meaning of the operation is associated , the line-of-sight information, and the storage unit are stored in the store of the plurality of products. Referring to the classification information item which is determined based on the placement position, shown relative to the other items of said selected one of the same classification and product, the degree of focused as an index showing an operation of the purchaser Indices and indicators are displayed on the display unit in radar chart format,
A purchasing behavior analysis method characterized by performing processing.
前記情報取得部が取得した前記動作情報の時刻に基づいて、前記店舗に設置されたカメラが撮像した前記購買者を含む画像を抽出し、事前に人物の動作の意味づけが行われた電子ファイルと、抽出した前記画像を変換した電子ファイルとの対比結果に基づいて、前記購買者の動作の意味を判定し、前記複数の商品のいずれかの商品の選択を受け付けた場合、判定した前記動作の意味を関連付けた前記動作情報と、前記視線情報と、記憶部に記憶された、前記複数の商品の前記店舗における配置位置に基づいて決定される商品の分類情報と、を参照し、選択された前記いずれかの商品と同一の分類の他の商品に対する、前記購買者の動作を示す指標と注目した度合いを示す指標とをレーダーチャート形式で表示部に表示する情報処理部と、
を有することを特徴とする購買行動分析装置。 Information acquisition unit that acquires the operation information of the purchaser in the store and the line of sight information of the purchaser for a plurality of products displayed in the store,
Based on the time of the operation information acquired by the information acquisition unit, an image including the purchaser captured by a camera installed in the store is extracted, and an electronic file in which the meaning of the operation of the person has been performed in advance And determining the meaning of the purchaser's operation based on a comparison result of the extracted electronic file with the electronic file, and when the selection of any one of the plurality of products is received, the determined operation With reference to the operation information, the line-of-sight information, and the product classification information determined based on the arrangement positions of the plurality of products in the store, which are stored in the storage unit, and an information processing unit for displaying said for other items from any of the same classification and product, the index indicating the degree of focused as an index showing an operation of the purchaser on the display unit in the radar chart form was,
A purchasing behavior analysis device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233615A JP6648508B2 (en) | 2015-11-30 | 2015-11-30 | Purchasing behavior analysis program, purchasing behavior analysis method, and purchasing behavior analysis device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233615A JP6648508B2 (en) | 2015-11-30 | 2015-11-30 | Purchasing behavior analysis program, purchasing behavior analysis method, and purchasing behavior analysis device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017102573A JP2017102573A (en) | 2017-06-08 |
JP6648508B2 true JP6648508B2 (en) | 2020-02-14 |
Family
ID=59015455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015233615A Active JP6648508B2 (en) | 2015-11-30 | 2015-11-30 | Purchasing behavior analysis program, purchasing behavior analysis method, and purchasing behavior analysis device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6648508B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223093B (en) * | 2018-03-02 | 2024-04-16 | 北京京东尚科信息技术有限公司 | Commodity recommendation method and device |
CN110322262B (en) * | 2018-03-30 | 2023-06-20 | 阿里巴巴集团控股有限公司 | Store information processing method and device and store system |
WO2020075229A1 (en) * | 2018-10-10 | 2020-04-16 | 株式会社ウフル | Wearable terminal marketing system, method, program, and wearable terminal |
US20220180380A1 (en) * | 2019-03-26 | 2022-06-09 | Felica Networks, Inc. | Information processing apparatus, information processing method, and program |
JP6593949B1 (en) * | 2019-07-31 | 2019-10-23 | アースアイズ株式会社 | Information processing apparatus and marketing activity support apparatus |
JP7380839B2 (en) * | 2020-03-12 | 2023-11-15 | 日本電気株式会社 | Recognition level estimation device, recognition level estimation method, and program |
WO2023157112A1 (en) * | 2022-02-16 | 2023-08-24 | 日本電気株式会社 | Goods display assistance system, goods display assistance method, and recording medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4876687B2 (en) * | 2006-04-19 | 2012-02-15 | 株式会社日立製作所 | Attention level measuring device and attention level measuring system |
JP5180491B2 (en) * | 2007-02-28 | 2013-04-10 | 株式会社日本総合研究所 | Behavior analysis device, behavior analysis method, and behavior analysis program |
JP2015111358A (en) * | 2013-12-06 | 2015-06-18 | 株式会社ニコン | Electronic apparatus |
US20150301597A1 (en) * | 2014-04-16 | 2015-10-22 | 2020 Ip, Llc | Calculation of an analytical trail in behavioral research |
-
2015
- 2015-11-30 JP JP2015233615A patent/JP6648508B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017102573A (en) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6648508B2 (en) | Purchasing behavior analysis program, purchasing behavior analysis method, and purchasing behavior analysis device | |
JP5632512B1 (en) | Human behavior analysis device, human behavior analysis system, human behavior analysis method, and monitoring device | |
TWI778030B (en) | Store apparatus, store management method and program | |
JP6565639B2 (en) | Information display program, information display method, and information display apparatus | |
US11023908B2 (en) | Information processing apparatus for performing customer gaze analysis | |
JP4717934B2 (en) | Relational analysis method, relational analysis program, and relational analysis apparatus | |
WO2017085771A1 (en) | Payment assistance system, payment assistance program, and payment assistance method | |
JP6314987B2 (en) | In-store customer behavior analysis system, in-store customer behavior analysis method, and in-store customer behavior analysis program | |
JP6756473B2 (en) | Behavior analyzers and systems and methods | |
JP2011253344A (en) | Purchase behavior analysis device, purchase behavior analysis method and program | |
JP6500374B2 (en) | Image processing apparatus and image processing program | |
JP7384516B2 (en) | Information processing device, product recommendation method, program, and system | |
JP6261060B2 (en) | Information processing device | |
US20180293598A1 (en) | Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method | |
JP7062985B2 (en) | Customer behavior analysis system and customer behavior analysis method | |
JP2016009416A (en) | Sales promotion system, sales promotion management device, and sales promotion management program | |
JP7081310B2 (en) | Behavioral analytics device, behavioral analytics system, behavioral analytics method, program and recording medium | |
JP6586706B2 (en) | Image analysis apparatus, image analysis method, and program | |
JP6476678B2 (en) | Information processing apparatus and information processing program | |
JP2017102564A (en) | Display control program, display control method and display control device | |
JP6394340B2 (en) | Product registration apparatus, product registration method and program | |
JP2018097412A (en) | Information processing device, information processing method and program | |
JP2019083058A (en) | Image processor and image processing program | |
US20170278112A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP2018055233A (en) | Information processing device, control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191230 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6648508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |