JP2019139321A - 顧客行動分析システムおよび顧客行動分析方法 - Google Patents

顧客行動分析システムおよび顧客行動分析方法 Download PDF

Info

Publication number
JP2019139321A
JP2019139321A JP2018019489A JP2018019489A JP2019139321A JP 2019139321 A JP2019139321 A JP 2019139321A JP 2018019489 A JP2018019489 A JP 2018019489A JP 2018019489 A JP2018019489 A JP 2018019489A JP 2019139321 A JP2019139321 A JP 2019139321A
Authority
JP
Japan
Prior art keywords
customer
behavior analysis
information
posture
store
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018019489A
Other languages
English (en)
Other versions
JP7062985B2 (ja
Inventor
文平 田路
Bunpei Taji
文平 田路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018019489A priority Critical patent/JP7062985B2/ja
Publication of JP2019139321A publication Critical patent/JP2019139321A/ja
Application granted granted Critical
Publication of JP7062985B2 publication Critical patent/JP7062985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮影データそのものをメモリに記憶させることなく、顧客の個人情報の保護を図りながら、店舗内での顧客の様々な行動をいつでも分析することを可能にする。【解決手段】店舗内での顧客の行動を分析する顧客行動分析システム1は、撮像部2と、姿勢推定部11と、姿勢情報記憶部12と、行動分析部13とを備える。撮像部2は、店舗内を撮影して画像を取得する。姿勢推定部11は、撮像部2で取得された画像に基づいて、店舗内の顧客の姿勢を推定して姿勢情報を取得するとともに、姿勢情報を店舗内の顧客ごとに時系列で取得する。姿勢情報記憶部12は、顧客ごとに時系列で取得された姿勢情報を記憶する。行動分析部13は、姿勢情報記憶部12に記憶された姿勢情報に基づいて、店舗内での顧客の行動を分析する。【選択図】図1

Description

本発明は、店舗内での顧客の行動を分析する顧客行動分析システムおよび顧客行動分析方法に関する。
従来から、マーケティングや販売促進の目的で、店舗での顧客の購買行動の分析が行われている。例えば特許文献1に開示されたシステムでは、カメラで撮影されるユーザの手が店舗内の商品に接近した場合に、ユーザに保持される可搬型装置(例えば携帯型通信デバイス)に記録された装置識別子を、カメラで撮影されるユーザの行動に対応付けてデータベースに記録している。これにより、店舗内でのユーザの行動を、ユーザを特定する情報と対応付けて追跡することを容易にしている。また、例えば特許文献2に開示されたシステムでは、撮像手段により撮影された映像に基づいて、顧客が収納棚の前方に滞留した時間、および/または収納棚内部に顧客の身体の一部が進入したことを検出して、特定棚上の収納物に対するアクセスの有無を判断している。これにより、従来のようにICチップやICタグを用いなくても(これらを商品に貼付しなくても)、顧客の販売行動情報を収集することを可能にしている。
特許第6134607号公報(請求項1、段落〔0007〕、〔0010〕、図1等参照) 特許第4972491号公報(請求項1、段落〔0005〕、〔0014〕、図1等参照)
特許文献1および2のシステムでは、分析対象となる顧客の行動が、ユーザの手が商品に接近する動作や収納物へのアクセスなど、特定の行動に限られている。このため、顧客の上記以外の行動(例えば店舗内での顧客の移動およびその経路(動線))を分析する場合には、例えば、カメラで撮影した画像(例えば動画)のデータ(撮影データ)をメモリに記憶しておき、上記データを後から(分析したいときに)再生して分析することが必要となる。しかし、撮影データそのものをメモリに記憶させることは、防犯目的ではよいのであるが、行動分析においては、個人情報保護の観点から(撮影データが漏洩したときの個人の特定を防止する意味で)、避けることが望ましい。つまり、行動分析においては、撮影データそのものをメモリに記憶させることなく、店舗内での顧客の様々な行動をいつでも分析できるようにすることが望ましい。しかし、このような行動分析が可能なシステムは、未だ提案されていない。
本発明は、上記の問題点を解決するためになされたもので、その目的は、撮影データそのものをメモリに記憶させることなく、顧客の個人情報の保護を図りながら、店舗内での顧客の様々な行動をいつでも分析することができる顧客行動分析システムおよび顧客行動分析方法を提供することにある。
本発明の一側面に係る顧客行動分析システムは、店舗内での顧客の行動を分析する顧客行動分析システムであって、前記店舗内を撮影して画像を取得する撮像部と、前記撮像部で取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定部と、前記顧客ごとに時系列で取得された前記姿勢情報を記憶する姿勢情報記憶部と、前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析部とを備えている。
本発明の他の側面に係る顧客行動分析方法は、店舗内での顧客の行動を分析する顧客行動分析方法であって、前記店舗内を撮像部によって撮影して画像を取得する画像取得工程と、前記撮像部によって取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定工程と、前記顧客ごとに時系列で取得された前記姿勢情報を姿勢情報記憶部に記憶させる姿勢情報記憶工程と、前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析工程とを含む。
上記のシステムおよび方法によれば、撮影データそのものをメモリに記憶させることなく、顧客の個人情報の保護を図りながら、店舗内での顧客の様々な行動をいつでも分析することが可能となる。
本発明の実施の一形態の顧客行動分析システムの全体の構成を模式的に示すブロック図である。 上記顧客行動分析システムが適用される店舗内の様子を模式的に示す説明図である。 上記店舗の天井に設置された撮像部で取得された画像の一例を示す説明図である。 上記画像から推定した顧客の姿勢を示す説明図である。 上記顧客行動分析システムにおける処理の流れの一例を示す説明図である。 上記顧客行動分析システムにおける処理の流れの他の例を示す説明図である。 上記店舗内の天井に複数の撮像部を設置した場合において、各撮像部で取得された画像を模式的に示す説明図である。 本発明の他の実施の形態の顧客行動分析システムの構成を模式的に示すブロック図である。 上記顧客行動分析システムにおける処理の流れの一例を示す説明図である。 顧客ごとの購買情報と接触商品との対応関係の一例を模式的に示す説明図である。 本発明のさらに他の実施の形態の顧客行動分析システムの構成を模式的に示すブロック図である。
<実施の形態1>
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。
〔顧客行動分析システムの構成〕
図1は、本実施形態の顧客行動分析システム1の全体の構成を模式的に示すブロック図であり、図2は、顧客行動分析システム1が適用される店舗100内の様子を模式的に示す説明図である。顧客行動分析システム1は、店舗100内での顧客Pの行動を分析するシステムであり、撮像部2と、第1の端末装置3とを有している。
撮像部2は、店舗100内を撮影して画像を取得するカメラで構成されている。上記画像は、例えば動画であるが、静止画であってもよい。撮像部2は、図2に示すように、店舗100の天井101に設置されているが、商品棚102の上など、店舗100内を撮影できる場所に設置されていればよい。図3は、店舗100の天井101に設置された撮像部2で取得された画像Mの一例を示している。画像Mでは、店舗100内で、商品棚102に陳列された商品201に向かって顧客Pが手を伸ばしている様子(行動)が示されている。
本実施形態では、撮像部2は店舗100内に複数設置されているが、撮像部2の設置台数は、店舗100の大きさ(広さ)に応じて設定されればよく、1台のみであってもよい。撮像部2は、LAN(Local Area Network)などの通信回線を介して第1の端末装置3と通信可能に接続されているが、第1の端末装置3と無線通信可能な構成であってもよい。いずれにしても、撮像部2での撮影によって取得された画像のデータは、通信回線を介して第1の端末装置3に送信される。
第1の端末装置3は、撮像部2で取得された画像に基づいて、店舗100内での顧客Pの行動を分析する端末装置であり、例えばパーソナルコンピュータ(PC)で構成される。この第1の端末装置3は、プログラム記憶部10と、姿勢推定部11と、姿勢情報記憶部12と、行動分析部13と、物品マップ記憶部14と、分析結果記憶部15と、入力部16と、表示部17と、通信部18と、制御部19とを有している。
プログラム記憶部10は、第1の端末装置3の各部を動作させるための動作プログラムを記憶するメモリである。制御部19は、第1の端末装置3の各部の動作を制御する中央演算処理装置(CPU;Central Processing Unit)で構成されており、プログラム記憶部10に記憶された動作プログラムに従って動作する。上記した姿勢推定部11および行動分析部13は、例えばGPU(Graphics Processing Unit)で構成されているが、制御部19と同一のまたは別個のCPUで構成されていてもよい。なお、GPUは、リアルタイムな画像処理に特化した演算装置(プロセッサ)である。
姿勢推定部11は、撮像部2で取得された画像に基づいて、店舗100内の顧客Pの姿勢を推定し、姿勢情報を取得する。また、姿勢推定部11は、タイマーなどの計時部(図示せず)を内蔵しており、上記姿勢情報を店舗100内の顧客Pごとに時系列で(時間的に異なるタイミングで)取得する。
図4は、図3で示した画像Mから推定した顧客Pの姿勢301(太線参照)を示している。上記の姿勢情報は、顧客Pの姿勢301を示す情報であり、顧客Pの体の各関節位置の情報(例えば2次元または3次元空間内での位置座標)を含む。なお、同図では、顧客Pの姿勢301を分かりやすくするため、各関節位置を線でつなげて示しているが、このような線も上記の姿勢情報に含まれる。
上記のような姿勢情報の取得(撮影画像からの顧客Pの各関節位置の取得)は、例えば公知の画像処理ソフトウェアを用いることによって行うことができる。同一の顧客Pにおいては、所定の時間内での動作範囲(例えば移動範囲)が限られるため、所定の時間内での各関節位置(または各関節位置をつなげた線)の移動量が所定範囲内であるか否かを判断することにより、時間的に異なるタイミングで取得された姿勢情報が同一の顧客Pについての情報であるか、別々の顧客Pについての情報であるかを判断することができる。これにより、顧客Pごとに姿勢情報を取得することができる。
ところで、上記の姿勢情報は、顧客Pの顔の向きの情報をさらに含んでいてもよい。顔の向きの情報は、例えば公知の画像処理ソフトウェアを用いることによって行うことができる。例えば、撮像部2で取得された画像から、画像処理(例えば輪郭線抽出処理)によって、顧客Pの輪郭(頭部、顔、肩の形状を含む)を抽出するとともに、髪の毛の範囲(黒色の部分)、顔の範囲(肌色の部分)などを抽出し、互いのパーツの相互の位置関係を分析することにより、顧客Pの顔の向きの情報を取得することができる。
姿勢情報記憶部12は、姿勢推定部11によって顧客Pごとに時系列で取得された姿勢情報301を記憶するメモリである。物品マップ記憶部14は、店舗100内に配置される物品と、その物品の配置位置とを示す物品マップを記憶するメモリである。ここで、店舗100内に配置される「物品」には、店舗100内で顧客Pに販売する商品のほか、非売品(例えば香水サンプルなどの商品サンプル)、商品の説明を記載した掲示物(例えばPOP(point of purchase advertising)と呼ばれる売場広告)、商品または店舗100の宣伝に関する映像を表示する表示装置などが挙げられる。分析結果記憶部15は、後述する行動分析部13による分析結果を記憶するメモリである。
プログラム記憶部10、姿勢情報記憶部12、物品マップ記憶部14および分析結果記憶部15は、例えばハードディスクで構成されるが、その他、RAM(Random Access Memory)、ROM(Read Only Memory)、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。
行動分析部13は、姿勢情報記憶部12に記憶された姿勢情報に基づいて、店舗100内での顧客Pの行動を分析する。行動分析部13による行動分析の詳細については後述する。入力部16は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、顧客行動分析システム1の管理者による各種の指示入力を受け付ける。表示部17は、行動分析部13での分析結果をはじめとして、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部18は、外部端末(例えばスマートフォンなどの携帯端末や他のPC)と通信するためのインターフェースであり、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。
〔顧客行動分析システムの動作〕
次に、本実施形態の顧客行動分析システム1の動作について説明する。図5は、本実施形態の顧客行動分析システム1における処理の流れの一例を示す説明図である。本実施形態の顧客行動分析システム1によって実現される顧客行動分析方法は、画像取得工程(S1)、姿勢推定工程(S2)、姿勢情報記憶工程(S3)、行動分析工程(S4)、分析結果記憶工程(S5)を含む。以下、図5および他の図面も参照しながら説明する。
S1の画像取得工程では、店舗100内を撮像部2によって撮影して画像を取得する(図3参照)。S2の姿勢推定工程では、姿勢推定部11が、S1で取得された画像に基づいて、店舗100内の顧客Pの姿勢を推定して姿勢情報を取得するとともに、上記姿勢情報を店舗100内の顧客Pごとに時系列で取得する。
例えば、ある顧客Pが店舗100内の通路を歩いている場合、姿勢推定部11は、撮像部2によって取得された画像から、顧客Pが歩いているときの姿勢(例えば各関節位置や顔の向き)を推定するとともに、その推定した姿勢の情報(姿勢情報)を時間的に異なるタイミング(時刻)で取得する。また、例えば別の顧客Pが店舗100内の商品201を購入すべく、商品201をカート(または手提げかご)に入れる動作を行う場合、顧客Pが「商品201に向かって手を伸ばそうとする姿勢」、「商品201に手が接触したときの姿勢」、「商品201をカートに入れる姿勢」の各情報が、時系列の姿勢情報として姿勢推定部11によって取得される。
S3の姿勢情報記憶工程では、S2にて顧客Pごとに時系列で取得された姿勢情報を姿勢情報記憶部12に記憶させる。そして、S4の行動分析工程では、行動分析部13が、姿勢情報記憶部12に記憶された姿勢情報に基づいて、店舗100内での顧客Pの行動を分析する。例えば、行動分析部13は、上記姿勢情報に基づいて、顧客Pの体の向きを含めた、顧客Pの店舗100内での動線(移動経路)を導出することにより、顧客Pの店舗100内での行動を分析する。
また、物品マップ記憶部14には、店舗100内に配置される物品と、物品の配置位置とを示す物品マップが記憶されているため、行動分析部13は、上記の姿勢情報と物品マップとに基づいて、物品に対する顧客Pの行動を特定することができる。例えば、行動分析部13は、顧客Pの姿勢情報から、顧客Pが店舗100内で静止していると判断し、また、姿勢情報と物品マップとから、顧客Pの顔の向きが物品のほうを向いていると判断した場合には、物品に対する顧客Pの行動として、顧客Pが店舗100内で物品のほうを向いて静止していることを特定することができる。また、顧客Pが伸ばした手の先端に、物品が位置する場合には、行動分析部13は、顧客Pの行動として、顧客Pが店舗100内の物品に接触したことを特定することができる。
S5の分析結果記憶工程では、行動分析部13による分析結果が、分析結果記憶部15に記憶される。これにより、システムの管理者は、分析結果記憶部15に記憶された分析結果を参照して、その分析結果を今後の販売商品のマーケティングに活かすことが可能となる。なお、上記分析結果の参照は、例えば、管理者が入力部16を操作して、上記分析結果を表示部17に表示させることによって行うことができる。また、管理者は、外部端末(例えば管理者の携帯端末)から第1の端末装置3に対して、分析結果の送信要求を行ってもよい。この場合、第1の端末装置3の制御部19は、上記送信要求に基づいて、分析結果記憶部15に記憶された分析結果を、通信部18を介して外部端末に送信する。これにより、管理者は、外部端末にて分析結果を参照することが可能となる。
〔効果〕
本実施形態では、姿勢推定部11が撮像部2で取得した画像に基づいて顧客Pの姿勢を推定して姿勢情報を取得し、姿勢情報記憶部12がその姿勢情報を記憶する。そして、行動分析部13が上記姿勢情報に基づいて顧客の行動を分析する。したがって、撮像部2で取得した画像のデータそのものを記憶するメモリは不要であり、そのようなメモリを設けることなく行動分析を行うことが可能となる。よって、上記メモリを有する場合に起こり得る、上記画像のデータの漏洩の問題は起こらない。また、姿勢情報はあくまでも顧客Pの姿勢の情報であって、氏名等の個人を特定する情報ではないため、姿勢情報記憶部12に記憶された姿勢情報が万が一外部に漏洩したとしても、その姿勢情報に基づいて顧客P(例えば個人名)が特定されることはない。
また、顧客Pごとの時系列の姿勢情報を姿勢情報記憶部12に記憶させることで、行動分析部13は、上記姿勢情報を適宜読み出すことにより、読み出した姿勢情報に基づいて、店舗100内での顧客の行動を(分析したいときに)いつでも分析することが可能となる。例えば、過去のある時点での姿勢情報に基づいて、上記時点での顧客のPの行動(例えば店舗100内での動線)を後からでも分析(再分析)することが可能となる。さらに、同じ姿勢情報に基づいて、顧客Pの(以前に分析した行動とは)別の行動(例えば店舗100内の物品と接触したかどうか)を分析することも可能となる。
したがって、本実施形態の顧客行動分析システム1および顧客行動分析方法によれば、撮像部2で取得された画像のデータそのものをメモリに記憶させることなく、顧客Pの個人情報の保護を図りながら、店舗100内での顧客Pの様々な行動をいつでも分析することが可能となる。
また、S4の行動分析工程では、行動分析部13は、姿勢推定部11で取得された姿勢情報に基づいて、顧客Pの体の向きを含めた顧客Pの店舗100内での動線を導出する。これにより、顧客Pの体の向きを含めた動線との関係で、店舗100内での顧客の行動分析を行うことができる。例えば、店舗100内で顧客Pがどのような経路で移動したのか、また、商品のほうを見ながら移動したのか、見ずに移動したのかを分析することができる。
また、S4の行動分析工程では、行動分析部13は、姿勢推定部11で取得された姿勢情報と、物品マップ記憶部13に記憶された物品マップとに基づいて、物品に対する顧客Pの行動を特定する。これにより、店舗100内の物品との関係で、顧客Pの行動分析を行うことができる。例えば、顧客Pが物品を手にとったかどうか(物品と接触したか否か)、または、顧客Pが店舗100内のどの物品に接触したのかを分析することができる。
また、S4の行動分析工程では、行動分析部13は、上記姿勢情報と上記物品マップとに基づいて、顧客Pが店舗100内で物品のほうを向いて静止していることを、顧客Pの行動として特定する。この場合、顧客Pが関心のある物品を推定することが可能となる。
また、S4の行動分析工程では、行動分析部13は、上記姿勢情報と上記物品マップとに基づいて、顧客Pが物品に接触したことを、顧客Pの行動として特定する。この場合、顧客Pが実際に購入した可能性の高い物品を推定することが可能となる。
また、上述した姿勢情報は、顧客Pの体の各関節位置の情報を含む。顧客Pの各関節位置の情報は、顧客Pの姿勢を把握するのに有効な情報であり、これを姿勢情報に含めることで、姿勢情報に基づく行動分析を適切に行うことができる。また、行動分析部13は、取得された姿勢情報から、つまり、各関節位置の違いから、顧客Pの行動の一つ一つを詳しく分析することが可能となる。
また、上述した姿勢情報は、顧客Pの顔の向きの情報を含む。この場合、行動分析部13は、顧客Pの顔の向きも考慮して(例えば顧客Pが商品201のほうを見ているのか通路のほうを見ているのかを把握して)、顧客Pの行動をより詳しく分析することが可能となる。
〔指示入力に応じた行動分析〕
図6は、本実施形態の顧客行動分析システム1における処理の流れの他の例を示す説明図である。上記顧客行動分析システム1によって実現される顧客行動分析方法は、上述したS1〜S5の工程に加えて、入力受付工程(S6)を含んでいてもよい。この入力受付工程では、顧客行動分析システム1の管理者による各種の指示入力を受け付ける。なお、上記の指示入力は、入力部16によって行われる。
S6において、入力部16による管理者からの指示入力を受け付けたとき、S4の行動分析工程では、行動分析部13は、上記指示入力に応じた顧客Pの行動分析を実行する。例えば、管理者が、入力部16によって顧客Pの店舗100内での動線を導出する指示入力を行った場合、行動分析部13は、上記指示入力に基づき、姿勢情報記憶部12に記憶された時系列の姿勢情報から、顧客Pの店舗100内での動線を導出する。また、管理者が、入力部16によって顧客Pの物品との接触の有無を分析する指示入力を行った場合、行動分析部13は、上記指示入力に基づき、姿勢情報記憶部12に記憶された姿勢情報および物品マップ記憶部14に記憶された物品マップとから、顧客Pの物品との接触の有無を分析する。
このように、行動分析部13は、入力部16による管理者からの指示入力に応じた顧客Pの行動分析を実行することにより、管理者が希望する行動分析を行動分析部13に実行させることができる。
なお、図6では、S6の入力受付工程が、S4の行動分析工程よりも前に行われる場合を示しているが、S4の行動分析工程よりも後に行われてもよい。この場合は、S4で一旦行動分析を行った後に、S6での入力受付(指示入力)に応じた別の分析(再分析)を行うことになる。
〔複数の取得画像に基づく行動分析〕
図7は、店舗100内の天井101に複数の撮像部2を設置した場合において、各撮像部2で取得された異なる時刻ごとの画像を模式的に示している。図5または図6のS2の姿勢推定工程では、姿勢推定部11は、複数の撮像部2のそれぞれで取得された各画像に基づいて、顧客Pの姿勢を推定するとともに、複数の撮像部2ごとに得られた姿勢の推定結果を一纏めにして、顧客Pについての上記姿勢情報としてもよい。
例えば、図7に示すように、店舗100の天井101に3つの撮像部2a・2b・2cが設置されており、店舗100内で撮像部2a・2b・2cの下方の通路を顧客Pが通過する場合を考える。顧客Pが、時刻t1では、撮像部2aによって撮影され、時刻t2では、撮像部2bによって撮影され、時刻t3では、撮像部2cによって撮影された場合、姿勢推定部11は、撮像部2aによって取得された画像に基づいて、時刻t1における顧客Pの姿勢301aを推定し、撮像部2bによって取得された画像に基づいて、時刻t2における顧客Pの姿勢301bを推定し、撮像部2cによって取得された画像に基づいて、時刻t3における顧客Pの姿勢301cを推定する。そして、姿勢推定部11は、複数の撮像部2a・2b・2cごとに得られた姿勢の推定結果(時刻t1での姿勢301aの情報、時刻t2での姿勢301bの情報、時刻t3での姿勢301cの情報)を一纏めにして(統合して)、顧客Pの姿勢情報として取得する。姿勢推定部11にて取得された上記姿勢情報は、その後、姿勢情報記憶部12に記憶され(S3)、行動分析部13は、上記姿勢情報に基づいて、顧客Pの行動を分析することになる(S4)。
このように、姿勢推定部11が、複数の撮像部2ごとに得られた姿勢の推定結果を一纏めにして、顧客Pの姿勢情報として取得することにより、行動分析部13は、上記姿勢情報に基づいて、顧客Pの店舗100内での動線(上記の例では、顧客Pが撮像部2a・2b・2cの下方の通路を通過したこと)を導出することが可能となる。つまり、行動分析部13は、複数の撮像部2が設置された店舗100全体にわたって(店舗単位で)、顧客Pの行動を分析することが可能となる。
また、例えば、同じ時刻t1において、撮像部2aで取得された画像と撮像部2bで取得された画像との境界をまたぐような人物の姿勢が、それぞれの画像に基づいて姿勢推定部11によって推定された場合、これらの人物は同一人であると判断できる。一方、同じ時刻t1において、姿勢推定部11により、撮像部2aで取得された画像に基づいて単一人の姿勢が推定され、撮像部2aとは撮影領域が離れた撮像部2cで取得された画像に基づいて単一人の姿勢が推定された場合、これらの人物は別人であると判断できる(同じ時刻に同一人が店舗100内で撮影領域の離れた場所に個々に存在することはあり得ないため)。したがって、姿勢推定部11が各撮像部2で取得された画像に基づいて姿勢を推定することにより、各画像に人物が同時に写っている場合でも、それらの人物が同一人であるか別人であるかを判別することが可能となる。その結果、行動分析部13は、複数の撮像部2が設置された店舗100内に複数の顧客Pが存在する場合でも、姿勢推定部11によって取得された上記姿勢情報に基づいて、顧客Pごとに行動分析を行うことが可能となる。
<実施の形態2>
図8は、本発明の実施の形態2の顧客行動分析システム1の構成を模式的に示すブロック図である。顧客行動分析システム1は、実施の形態1で示した構成に加えて、購買情報記憶部20と、購買情報紐付け部21とを有している。
購買情報記憶部20は、顧客Pが店舗100内で実際に買った購買商品に関する情報を、購買情報として記憶するメモリである。この購買情報記憶部20は、プログラム記憶部10、姿勢情報記憶部12、物品マップ記憶部14および分析結果記憶部15と同様に、ハードディスク等で構成される。
ここで、上記の購買情報としては、例えばPOS(Point of Sales)データを考えることができる。POSデータとは、商品の販売時点のデータであり、「いつ」、「どの店舗で」、「どの商品が」、「いくらで」、「何個売れたのか」という情報を含む。例えば、店舗100内のキャシュレジスタ(単にレジとも呼ばれる)400において、精算時に商品についているバーコードをスキャナーで読み取ることにより、POSデータが取得され、このPOSデータがほぼリアルタイムに購買情報記憶部20に転送されて記憶される。なお、上記のPOSデータには、「誰が」という情報は含まれておらず、万が一、購買情報が外部に漏洩したとしても、商品を購入した顧客P(例えば個人名)が特定されることはない。
なお、本実施形態では、顧客行動分析システム1がキャッシュレジスタ400を有することによって、購買情報を取得するようにしているが、キャッシュレジスタ400はシステムに必須の構成ではない。例えば、キャッシュレジスタ400で取得された購買情報を一旦、記録媒体(例えば光ディスクや可搬型の不揮発性メモリ)に記録しておき、この記録媒体から購買情報を読取装置(図示せず)にて読み取ることによって、上記購買情報を取得してもよい。また、入力部16によって購買情報が直接入力されることで、上記購買情報を取得してもよいし、外部の端末装置(例えばサーバー)から通信部18を介して購買情報を受信することによって上記購買情報を取得してもよい。
購買情報紐付け部21は、顧客Pごとに、購買情報記憶部20に記憶された購買情報と、姿勢情報記憶部12に記憶された姿勢情報とを紐付ける処理を行う。この購買情報紐付け部21は、CPUまたはGPUで構成される。ここで、「紐付け」とは、上記購買情報と上記姿勢情報とを同じ顧客Pに関する情報として関連付ける(結び付ける)ことを言う。
図9は、本実施形態の顧客行動分析システム1における処理の流れの一例を示す説明図である。本実施形態の顧客行動分析システム1によって実現される顧客行動分析方法は、実施の形態1の分析結果記憶工程(S5)の後に、購買情報紐付け工程(S7)および紐付け結果記憶工程(S8)を有している。以下、実施の形態1と異なる部分について説明する。
S4の行動分析工程に入るまでは、実施の形態1と同様である。S4では、行動分析部13は、姿勢情報記憶部12に記憶された姿勢情報と、物品マップ記憶部14に記憶された物品マップとに基づいて、物品のうちで店舗100内で販売されている販売商品に顧客Pが接触したことを、顧客Pの行動として特定する。S5の分析結果記憶工程では、S4で特定された顧客Pの行動の情報、すなわち、顧客Pが販売商品に接触したという情報が、分析結果記憶部15に記憶される。
S7の購買情報紐付け工程では、購買情報紐付け部21は、購買情報記憶部20に予め記憶されている購買情報と、接触した販売商品(接触商品)の情報との対応関係に基づいて、顧客Pごとに購買情報と姿勢情報とを紐付ける。S8の紐付け結果記憶工程では、S7で紐付けた結果を示す情報が、分析結果記憶部15に記憶される。なお、S8において、上記情報を分析結果記憶部15に記憶させる代わりに、例えば外部(例えば管理者が所有する携帯端末)からの送信要求に応じて、通信部18を介して外部に上記情報を送信するようにしてもよい。
図10は、顧客Pごとの購買情報と接触商品との対応関係の一例を模式的に示している。なお、図10では、複数の顧客Pを互いに区別するために、各顧客Pを便宜的に顧客1〜4として示している。上記したS7の工程は、例えば以下のようにして行われる。顧客1については、S4での行動分析によって、店舗100内で、商品a、b、c、d、eに接触したことがわかっている。また、購買情報記憶部20に記憶されている購買情報から、ある顧客Pは、商品a、cを実際に購入したことがわかっている。この場合、購買情報紐付け部21は、ある顧客Pが購入した商品a、cと、顧客1が接触した商品a、b、c、d、eとが対応しており(購入商品が全て接触商品に含まれているため)、顧客Pは顧客1であると判断する。そして、購買情報紐付け部21は、顧客1に関して、商品a、b、c、d、eに接触したときに姿勢推定部11で取得された姿勢情報(例えば各商品に手を伸ばし、各商品を掴んでカートに入れる姿勢の情報)と、顧客Pの購買情報(顧客Pが商品a、cを購入したこと)とを紐付ける。顧客2〜4についても、上記と同様の処理が行われる。
このように、購買情報紐付け部21が、上記購買情報と、接触した販売商品の情報との対応関係に基づいて、顧客Pごとに購買情報と姿勢情報とを紐付けることにより、管理者は、その紐付けた結果に基づいて、顧客Pが店舗100内で実際に買った商品(例えば商品a、c)は勿論のこと、実際に買わなかった商品(例えば商品b、d、e)も把握することが可能となる。したがって、管理者は、顧客Pが実際に買わなかった商品について、販売促進計画を立てるなどの必要な措置を講じることが可能となる。つまり、姿勢情報を購買情報と紐付けて管理することにより、顧客Pが実際に商品を購入するまでの経緯も考慮して、今後の商品のマーケティングを検討することが可能となり、姿勢情報を有効活用することが可能となる。
<実施の形態3>
図11は、本発明の実施の形態3の顧客行動分析システム1の構成を模式的に示すブロック図である。顧客行動分析システム1は、実施の形態2で示した第1の端末装置3の機能の一部を、第2の端末装置4に持たせた構成である。なお、本実施形態の構成は、実施の形態1のシステムにも勿論適用可能である(実施の液体1で示した第1の端末装置3の機能の一部を、第2の端末装置4に持たせてもよい)。
本実施形態の顧客行動分析システム1は、互いに通信可能な第1の端末装置3および第2の端末装置4を含む。第1の端末装置3と第2の端末装置4とは、例えばLANやインターネットなどの通信回線(有線、無線を問わない)を介して通信可能に接続されている。第1の端末装置3は、例えば店舗100内に設置されるが、第2の端末装置4は、店舗100の外部に設置されていてもよく、また、第1の端末装置3と同様に店舗100内に設置されていてもよい。
第1の端末装置3は、実施の形態2で示したプログラム記憶部10と、姿勢推定部11と、入力部16と、表示部17と、通信部18と、制御部19とを有している。第2の端末装置4は、実施の形態2で示した姿勢情報記憶部12と、行動分析部13と、物品マップ記憶部14と、分析結果記憶部15と、購買情報記憶部20と、購買情報紐付け部21とを有している。第1の端末装置3の各部(姿勢推定部11等)の機能および第2の端末装置4の各部(姿勢情報記憶部12等)の機能は、実施の形態1または2で説明した通りである。
第2の端末装置4は、例えば高速での演算処理が可能な処理装置(例えばGPU)と、大容量の記憶部(例えばハードディスク)とを有するサーバーで構成されている。上記の処理装置は、上述した行動分析部13および購買情報紐付け部21と、後述する制御部24として機能している。また、上記の大容量の記憶部は、上述した姿勢情報記憶部12、物品マップ記憶部14、分析結果記憶部15および購買情報記憶部20と、後述するプログラム記憶部23として機能している。
第2の端末装置4は、通信部22と、プログラム記憶部23と、制御部24とをさらに有している。通信部22は、第1の端末装置3と通信するためのインターフェースであり、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。プログラム記憶部23は、第2の端末装置4の各部を動作させるための動作プログラムを記憶するメモリである。制御部24は、第2の端末装置4の各部の動作を制御するCPUで構成されており、プログラム記憶部23に記憶された動作プログラムに従って動作する。
本実施形態の顧客行動分析システム1の構成では、第1の端末装置3の姿勢推定部11が、撮像部2で取得された画像に基づいて、店舗100内の顧客Pの姿勢情報を時系列で取得すると、上記姿勢情報が通信部18を介して第2の端末装置4に送信される。そして、第2の端末装置4では、第1の端末装置3から送信された顧客Pの姿勢情報が姿勢情報記憶部12に記憶される。そして、第2の端末装置4の行動分析部13が、姿勢情報記憶部12に記憶された姿勢情報に基づいて、店舗100内での顧客Pの行動を分析する。なお、第2の端末装置4での行動分析部13による行動分析の手法は、実施の形態1または2で示した手法と同様である。
以上のように、本実施形態の顧客行動分析システム1は、互いに通信可能な第1の端末装置3および第2の端末装置4を含み、第1の端末装置3が姿勢推定部11を有し、第2の端末装置4が行動分析部13を有する構成である。この構成では、上述したように、姿勢推定部11での処理と行動分析部13での処理とが別々の端末装置(第1の端末装置3、第2の端末装置4)で行われ、行動分析に必要な処理の負担が第1の端末装置3と第2の端末装置4とに分担される。これにより、例えば第1の端末装置3を高性能の装置で構成しなくても済み、安価なPCを用いることが可能となる。また、例えば第2の端末装置4を、行動分析部13による行動分析専用の装置として用いることが可能となる。
また、第2の端末装置4は、姿勢情報記憶部12をさらに有しているため、第1の端末装置3に、姿勢情報を記憶するメモリを設けなくても済み、第1の端末装置3に大容量のメモリを設けることなく、顧客行動分析システム1を構成することが可能となる。
<まとめ>
上述した各実施の形態では、顧客の購買行動分析を目的として、顧客の姿勢情報をメモリ(姿勢情報記憶部)に記憶しておくことにより、ICチップやICタグを商品に貼付したり、携帯端末を用いて識別子の情報をやりとりすることなく、匿名情報を用いて顧客の行動を分析することが可能となり、店舗での顧客の購買行動を精度よく把握可能な分析情報を得ることができる。また、姿勢情報を記憶しておくことで、その姿勢情報を用いて顧客の行動を後から分析(再分析)することが可能となる。なお、再分析を行う場合でも、再撮影などの再度の情報取得は不要である。
また、姿勢情報を記憶しておくことで、その姿勢情報を用いた顧客の行動分析が可能であるため、予め定義した行動だけでなく、予期せぬ行動も含めた顧客の行動分析が可能になる(姿勢情報から顧客の種々の行動を分析することができる)。また、ある商品特有の顧客の行動も分析可能となり、上記分析のための機械学習(再学習)などは不要である。さらに、姿勢情報を記憶することで、撮像画像のデータそのものを記憶することが不要となり、メモリ容量を低減できるとともに、画像の漏洩による個人情報の流出のおそれがなく、個人情報の保護を適切に図ることができる。また、行動分析により、(仮説ではなく)実際の顧客の行動に基づいた消費者インサイト(無意識の行動、意図)の導出も可能となる。さらに、商品マップと時系列の姿勢情報とに基づいて、顧客の行動を分析することにより、店舗内の商品との関係で顧客の購買行動を分析することが可能となる。
<プログラムおよび記録媒体>
各実施の形態1および2で説明した顧客行動分析システム1の第1の端末装置3は、例えば、所定のプログラム(アプリケーションソフトウェア)をインストールしたコンピュータ(PC)で構成することができる。上記プログラムをコンピュータ(例えばCPUとしての制御部19)が読み取って実行することにより、顧客行動分析システム1の各部を動作させて上述した各処理(各工程)を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されてプログラム記憶部10に記憶される。また、上記プログラムは、例えばCD−ROM(Compact Disk-Read Only Memory)などのコンピュータ読取可能な記録媒体に記録され、この記録媒体から上記プログラムをコンピュータが読み取ってプログラム記憶部10に記憶する形態であってもよい。
<補足>
(1)各実施の形態1〜3で説明した行動分析部13は、顧客Pごとの時系列の姿勢情報を分類(クラスタリング)し、分類した姿勢情報に基づいて、顧客Pの行動を複数の行動に分類してもよい。
例えば、店舗内の商品棚に香水のサンプルが複数種類置いてあるとする。ある顧客は、香水を購入する際に、それぞれの香水の匂いを確かめるべく、各香水のサンプルをそれぞれ手にとって匂いを嗅ぐ動作を行い、気に入った場合には、気に入った香水(商品Aとする)をカートに入れる。この場合、顧客がサンプルや商品Aに向かって腕を伸ばしたり、折り畳んだりする姿勢の変化(特徴的な動き)が短時間の間で繰り返し起こる。一方、店舗内の商品棚に重たい商品B(例えばお米)が置いてあるとする。ある顧客は、商品Bを購入する際には、商品Bを両手で抱えるようにしてゆっくりとカートに積み込む動作を行う。このように、顧客が購入しようとする商品によって、顧客の姿勢の変化の仕方が異なり、取得される姿勢情報も異なる。
したがって、行動分析部13は、姿勢推定部11で取得される顧客Pの姿勢情報を、例えば姿勢情報の変化の仕方に応じて分類することにより、分類した姿勢情報から、顧客Pの行動が、特定の商品(例えば商品A)に対する行動であるか、別の商品(例えば商品B)に対する行動であるかを把握することが可能となり、顧客Pの行動を複数の行動に分類することが可能となる。このような顧客Pの行動の分類により、例えば、分類された行動に応じた商品の配置(例えば商品Bについてはカートに積み込みやすい位置に陳列するなど)を検討して実施するなど、必要な措置を講じることが可能となる。
(2)店舗内の情報を各種センサで取得し、行動分析部13が顧客の行動と上記店舗内の情報との関連を分析してもよい。例えば、上記センサとしてマイクを用い、店舗内の表示装置にて販売促進物の映像を表示させたときに同時に再生される音声を上記マイクにて取得し、検出するとともに、その音声の再生タイミング(時刻)を記録する。この場合、行動分析部13は、上記音声の再生タイミングと、時系列で取得される顧客の姿勢情報とに基づいて、音声再生時の販売促進物に対する顧客の行動を分析することが可能となる。また、例えば、店内アナウンスの内容(音声)を上記マイクにて取得するとともに、その音声の再生タイミングを記録しておけば、行動分析部13は、上記音声の再生タイミングと、時系列で取得される顧客の姿勢情報とに基づいて、店内アナウンスに対する顧客の行動を分析することが可能となる。例えば、「タイムセール開始」などのアナウンス直後の顧客の行動を分析することが可能となる。
(3)行動分析部13による顧客の行動分析は、対象商品ごとに異なる基準に基づいて行われてもよい。この場合、商品ごとに異なる行動を認識することが可能となる。例えば、サンプルの使用の有無、商品の大きさによる取り出し方の違い、購入札(高額商品や大型商品の場合)での購入の有無、カタログ(チラシ)の参照の有無、などを認識することが可能となる。
<その他>
以上の各実施の形態で説明した顧客行動分析システムおよび顧客行動分析方法は、以下のように表現されてもよい。また、本実施形態で説明した内容は、以下の顧客行動分析プログラムおよび記録媒体を含む。
1.店舗内での顧客の行動を分析する顧客行動分析システムであって、
前記店舗内を撮影して画像を取得する撮像部と、
前記撮像部で取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定部と、
前記顧客ごとに時系列で取得された前記姿勢情報を記憶する姿勢情報記憶部と、
前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析部とを備えていることを特徴とする顧客行動分析システム。
2.前記行動分析部は、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする前記1に記載の顧客行動分析システム。
3.前記店舗内に配置される物品と、前記物品の配置位置とを示す物品マップを記憶する物品マップ記憶部をさらに備え、
前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする前記1または2に記載の顧客行動分析システム。
4.前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする前記3に記載の顧客行動分析システム。
5.前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする前記3または4に記載の顧客行動分析システム。
6.前記顧客が前記店舗内で実際に買った購買商品に関する情報を、購買情報として記憶する購買情報記憶部と、
前記購買情報と前記姿勢情報とを紐付ける購買情報紐付け部とをさらに備え、
前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
前記購買情報紐付け部は、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする前記3から5のいずれかに記載の顧客行動分析システム。
7.システムの管理者による指示入力を受け付ける入力部をさらに備え、
前記行動分析部は、前記入力部によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする前記1から6のいずれかに記載の顧客行動分析システム。
8.前記撮像部を複数備え、
前記姿勢推定部は、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得ことを特徴とする前記1から7のいずれかに記載の顧客行動分析システム。
9.前記撮像部と通信可能な第1の端末装置と、
前記第1の端末装置と通信可能な第2の端末装置とを含み、
前記第1の端末装置は、前記姿勢推定部を有し、
前記第2の端末装置は、前記行動分析部を有することを特徴とする前記1から8のいずれかに記載の顧客行動分析システム。
10.前記第2の端末装置は、前記姿勢情報記憶部をさらに有することを特徴とする前記9に記載の顧客情報分析システム。
11.前記姿勢情報は、前記顧客の体の各関節位置の情報を含むことを特徴とする前記1から10のいずれかに記載の顧客行動分析システム。
12.前記姿勢情報は、前記顧客の顔の向きの情報を含むことを特徴とする前記11に記載の顧客行動分析システム。
13.店舗内での顧客の行動を分析する顧客行動分析方法であって、
前記店舗内を撮影して画像を取得する撮像部によって取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定工程と、
前記顧客ごとに時系列で取得された前記姿勢情報を姿勢情報記憶部に記憶させる姿勢情報記憶工程と、
前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析工程とを含むことを特徴とする顧客行動分析方法。
14.前記行動分析工程では、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする前記13に記載の顧客行動分析方法。
15.前記行動分析工程では、前記姿勢情報と、前記店舗内に配置される物品と前記物品の配置位置とを示す前記物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする前記13または14に記載の顧客行動分析方法。
16.前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする前記15に記載の顧客行動分析方法。
17.前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする前記15または16に記載の顧客行動分析方法。
18.前記顧客が前記店舗内で実際に買った購買商品に関する情報である購買情報を、前記姿勢情報と紐付ける購買情報紐付け工程をさらに含み、
前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
前記購買情報紐付け工程では、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする前記15から17のいずれかに記載の顧客行動分析方法。
19.システムの管理者による指示入力を受け付ける入力受付工程をさらに含み、
前記行動分析工程では、前記入力受付工程によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする前記13から18のいずれかに記載の顧客行動分析方法。
20.前記姿勢推定工程では、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得することを特徴とする前記13から19のいずれかに記載の顧客行動分析方法。
21.前記姿勢情報は、前記顧客の体の各関節位置の情報を含むことを特徴とする前記13から20のいずれかに記載の顧客行動分析方法。
22.前記姿勢情報は、前記顧客の顔の向きの情報を含むことを特徴とする前記21に記載の顧客行動分析方法。
23.前記13〜22のいずれかに記載の顧客行動分析方法をコンピュータに実行させる顧客行動分析プログラム。
24.前記23に記載の顧客行動分析プログラムを記録した、コンピュータ読取可能な記録媒体。
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
本発明は、店舗内での顧客の行動を分析する顧客行動分析システムおよび顧客行動分析方法に利用可能である。
1 顧客行動分析システム
2 撮像部
3 第1の端末装置
4 第2の端末装置
11 姿勢推定部
12 姿勢情報記憶部
13 行動分析部
14 物品マップ記憶部
16 入力部
20 購買情報記憶部
21 購買情報紐付け部
100 店舗
301 姿勢
P 顧客

Claims (20)

  1. 店舗内での顧客の行動を分析する顧客行動分析システムであって、
    前記店舗内を撮影して画像を取得する撮像部と、
    前記撮像部で取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定部と、
    前記顧客ごとに時系列で取得された前記姿勢情報を記憶する姿勢情報記憶部と、
    前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析部とを備えていることを特徴とする顧客行動分析システム。
  2. 前記行動分析部は、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする請求項1に記載の顧客行動分析システム。
  3. 前記店舗内に配置される物品と、前記物品の配置位置とを示す物品マップを記憶する物品マップ記憶部をさらに備え、
    前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする請求項1または2に記載の顧客行動分析システム。
  4. 前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする請求項3に記載の顧客行動分析システム。
  5. 前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする請求項3または4に記載の顧客行動分析システム。
  6. 前記顧客が前記店舗内で実際に買った購買商品に関する情報を、購買情報として記憶する購買情報記憶部と、
    前記購買情報と前記姿勢情報とを紐付ける購買情報紐付け部とをさらに備え、
    前記行動分析部は、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
    前記購買情報紐付け部は、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする請求項3から5のいずれかに記載の顧客行動分析システム。
  7. システムの管理者による指示入力を受け付ける入力部をさらに備え、
    前記行動分析部は、前記入力部によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする請求項1から6のいずれかに記載の顧客行動分析システム。
  8. 前記撮像部を複数備え、
    前記姿勢推定部は、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得ことを特徴とする請求項1から7のいずれかに記載の顧客行動分析システム。
  9. 前記撮像部と通信可能な第1の端末装置と、
    前記第1の端末装置と通信可能な第2の端末装置とを含み、
    前記第1の端末装置は、前記姿勢推定部を有し、
    前記第2の端末装置は、前記行動分析部を有することを特徴とする請求項1から8のいずれかに記載の顧客行動分析システム。
  10. 前記第2の端末装置は、前記姿勢情報記憶部をさらに有することを特徴とする請求項9に記載の顧客情報分析システム。
  11. 前記姿勢情報は、前記顧客の体の各関節位置の情報を含むことを特徴とする請求項1から10のいずれかに記載の顧客行動分析システム。
  12. 前記姿勢情報は、前記顧客の顔の向きの情報を含むことを特徴とする請求項11に記載の顧客行動分析システム。
  13. 店舗内での顧客の行動を分析する顧客行動分析方法であって、
    前記店舗内を撮影して画像を取得する撮像部によって取得された前記画像に基づいて、前記店舗内の前記顧客の姿勢を推定して姿勢情報を取得するとともに、前記姿勢情報を前記店舗内の前記顧客ごとに時系列で取得する姿勢推定工程と、
    前記顧客ごとに時系列で取得された前記姿勢情報を姿勢情報記憶部に記憶させる姿勢情報記憶工程と、
    前記姿勢情報記憶部に記憶された前記姿勢情報に基づいて、前記店舗内での前記顧客の行動を分析する行動分析工程とを含むことを特徴とする顧客行動分析方法。
  14. 前記行動分析工程では、前記姿勢情報に基づいて、前記顧客の体の向きを含めた前記顧客の前記店舗内での動線を導出することを特徴とする請求項13に記載の顧客行動分析方法。
  15. 前記行動分析工程では、前記姿勢情報と、前記店舗内に配置される物品と前記物品の配置位置とを示す前記物品マップとに基づいて、前記物品に対する前記顧客の行動を特定することを特徴とする請求項13または14に記載の顧客行動分析方法。
  16. 前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記店舗内で前記物品のほうを向いて静止していることを、前記顧客の行動として特定することを特徴とする請求項15に記載の顧客行動分析方法。
  17. 前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記顧客が前記物品に接触したことを、前記顧客の行動として特定することを特徴とする請求項15または16に記載の顧客行動分析方法。
  18. 前記顧客が前記店舗内で実際に買った購買商品に関する情報である購買情報を、前記姿勢情報と紐付ける購買情報紐付け工程をさらに含み、
    前記行動分析工程では、前記姿勢情報と前記物品マップとに基づいて、前記物品のうちで前記店舗内で販売されている販売商品に前記顧客が接触したことを、前記顧客の行動として特定し、
    前記購買情報紐付け工程では、前記購買情報と、接触した前記販売商品の情報との対応関係に基づいて、前記顧客ごとに前記購買情報と前記姿勢情報とを紐付けることを特徴とする請求項15から17のいずれかに記載の顧客行動分析方法。
  19. システムの管理者による指示入力を受け付ける入力受付工程をさらに含み、
    前記行動分析工程では、前記入力受付工程によって前記管理者からの指示入力を受け付けたときに、前記指示入力に応じた前記顧客の行動分析を実行することを特徴とする請求項13から18のいずれかに記載の顧客行動分析方法。
  20. 前記姿勢推定工程では、複数の前記撮像部のそれぞれで取得された各画像に基づいて、前記顧客の姿勢を推定するとともに、複数の前記撮像部ごとに得られた前記姿勢の推定結果を一纏めにして、前記顧客についての前記姿勢情報として取得することを特徴とする請求項13から19のいずれかに記載の顧客行動分析方法。
JP2018019489A 2018-02-06 2018-02-06 顧客行動分析システムおよび顧客行動分析方法 Active JP7062985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018019489A JP7062985B2 (ja) 2018-02-06 2018-02-06 顧客行動分析システムおよび顧客行動分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018019489A JP7062985B2 (ja) 2018-02-06 2018-02-06 顧客行動分析システムおよび顧客行動分析方法

Publications (2)

Publication Number Publication Date
JP2019139321A true JP2019139321A (ja) 2019-08-22
JP7062985B2 JP7062985B2 (ja) 2022-05-09

Family

ID=67693923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018019489A Active JP7062985B2 (ja) 2018-02-06 2018-02-06 顧客行動分析システムおよび顧客行動分析方法

Country Status (1)

Country Link
JP (1) JP7062985B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950254A (zh) * 2021-01-27 2021-06-11 北京市商汤科技开发有限公司 一种信息处理方法、装置、电子设备及存储介质
KR20210117432A (ko) * 2020-03-19 2021-09-29 한국기계연구원 인체 자세 추정 기술을 적용한 신체영상 보호 시스템 및 그 방법
KR102525234B1 (ko) * 2022-09-07 2023-04-26 농업협동조합중앙회 매장 시스템에서 사용자 행위 분석을 위한 서버 및 그 방법
KR102525235B1 (ko) * 2022-09-07 2023-04-26 농업협동조합중앙회 매장 시스템의 서버 및 매장 시스템의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP2017162432A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、情報処理装置、情報端末、プログラム
JP2017174272A (ja) * 2016-03-25 2017-09-28 富士ゼロックス株式会社 情報処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
WO2015033577A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP2017162432A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、情報処理装置、情報端末、プログラム
JP2017174272A (ja) * 2016-03-25 2017-09-28 富士ゼロックス株式会社 情報処理装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
安藤 慎吾: ""映像モニタリングサービスを支える画像処理技術"", NTT技術ジャーナル, vol. 第19巻第8号, JPN6022011031, 1 August 2007 (2007-08-01), JP, pages 21 - 24, ISSN: 0004730951 *
青木 義満: ""購買行動分析のための人物検出・追跡・行動認識術"", 画像ラボ, vol. 第25巻第3号, JPN6022011032, 10 March 2014 (2014-03-10), JP, pages 55 - 60, ISSN: 0004730950 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117432A (ko) * 2020-03-19 2021-09-29 한국기계연구원 인체 자세 추정 기술을 적용한 신체영상 보호 시스템 및 그 방법
KR102341083B1 (ko) * 2020-03-19 2021-12-21 한국기계연구원 인체 자세 추정 기술을 적용한 신체영상 보호 시스템 및 그 방법
CN112950254A (zh) * 2021-01-27 2021-06-11 北京市商汤科技开发有限公司 一种信息处理方法、装置、电子设备及存储介质
KR102525234B1 (ko) * 2022-09-07 2023-04-26 농업협동조합중앙회 매장 시스템에서 사용자 행위 분석을 위한 서버 및 그 방법
KR102525235B1 (ko) * 2022-09-07 2023-04-26 농업협동조합중앙회 매장 시스템의 서버 및 매장 시스템의 제어 방법

Also Published As

Publication number Publication date
JP7062985B2 (ja) 2022-05-09

Similar Documents

Publication Publication Date Title
JP6264380B2 (ja) 販売促進システム、販売促進方法、販売促進プログラム及び棚システム
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
US11138420B2 (en) People stream analysis method, people stream analysis apparatus, and people stream analysis system
TWI781154B (zh) 店鋪裝置、店鋪系統、店鋪管理方法及程式
JP7062985B2 (ja) 顧客行動分析システムおよび顧客行動分析方法
WO2015033577A1 (ja) 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP6648508B2 (ja) 購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置
JP5590049B2 (ja) 物品陳列棚、人物行動調査方法および人物行動調査用プログラム
JP7092354B2 (ja) 商品情報管理装置、商品情報管理方法およびプログラム
JP2010140287A (ja) 購買行動分析装置、方法及びコンピュータプログラム
JP6261060B2 (ja) 情報処理装置
CN104254861A (zh) 用于辅助定位存储位置中的物品的方法
JP6565639B2 (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
JP7081310B2 (ja) 行動分析装置、行動分析システム、行動分析方法、プログラムおよび記録媒体
JP6476678B2 (ja) 情報処理装置及び情報処理プログラム
TW201942836A (zh) 店面系統、物品搭配方法、裝置及電子設備
JP2017102564A (ja) 表示制御プログラム、表示制御方法、及び表示制御装置
JP2018097412A (ja) 情報処理装置、情報処理方法およびプログラム
JP2021039784A (ja) 購入商品推定装置
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
JP7389997B2 (ja) カメラを用いたマーケティングシステム
WO2022080160A1 (ja) 情報提供システム、情報提供方法及びプログラム
JP7337625B2 (ja) 購買行動データ収集システム、及び購買行動データ収集プログラム
JP7206806B2 (ja) 情報処理装置、分析方法、及びプログラム
WO2023026277A1 (en) Context-based moniitoring of hand actions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220404

R150 Certificate of patent or registration of utility model

Ref document number: 7062985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150