JP6756473B2

JP6756473B2 - 行動分析装置及びシステム及び方法

Info

Publication number: JP6756473B2
Application number: JP2015209557A
Authority: JP
Inventors: 聡笹谷; 誠也伊藤; 敦士澤山
Original assignee: Hitachi Social Information Services Ltd
Current assignee: Hitachi Social Information Services Ltd
Priority date: 2015-10-26
Filing date: 2015-10-26
Publication date: 2020-09-16
Anticipated expiration: 2035-10-26
Also published as: JP2017083980A

Description

本発明は、行動分析装置及びシステム及び方法に係り、特に、人物の行動や動向についての情報を分析する行動分析装置及びシステム及び方法に関するものである。

スーパーマーケットなどの店舗において、店舗内の顧客の購買プロセスを把握することにより、店舗側では商品棚のレイアウト改善や、販促キャンペーンなどの効率的な販売促進対策を講じることができる。そのため、顧客の購買プロセスを取得してその購買行動や購買動向などの情報を分析する人物（顧客）行動分析装置へのニーズが高い。顧客行動を分析する手段として、従来ではＰＯＳなどの業務データを利用してきたものの、本分析では顧客が購入した商品及び購入しなかった商品の情報しか取り扱うことができず、適切な販売施策を提案することがむずかしい場合がある。そこで、より効果的な販売施策を講じられるよう、計測装置を使用することで、商品購入に至るまでの顧客の移動ルートや商品購入に至らなかった際の顧客の行動などを認識して、顧客の詳細な購買プロセスを把握する技術に注目が集まっている。
例えば、特許文献１では、モバイルデバイスを利用して顧客の位置情報と購入した商品情報を取得することで、顧客の移動ルートと購買行動を紐付けている。また、特許文献２では、監視カメラなどにより顧客が商品を購入する様子を撮影し、そのカメラ映像に画像認識技術を適用することで、顧客の移動ルートだけでなく顧客の行動などを把握している。

特開２０１４−０５２７５９号公報国際公開第２０１５／０３３５７７号

特許文献１では、計測用のセンサとして特別なアプリケーションがインストールされたモバイルデバイスを使用している。そのため、顧客の位置情報を常に取得することにより移動ルートを把握することは可能であるものの、商品を手に取ったなどの顧客の行動を認識することができないという課題がある。また、計測準備としては、顧客にアプリケーションを自身のデバイスに直接インストールしてもらうか、あるいは店舗側でアプリケーションがインストール済みのデバイスを予め用意する必要がある。そのため、前者の方法では、顧客への負担があり分析対象となる顧客の年齢層などに制限が生じる場合があり、後者の方法では、コスト面などの理由から分析可能な顧客数が限られてしまうことが想定されるという課題がある。
特許文献２では、カメラを利用することで顧客の購買プロセスを認識しているため、取得した画像情報の解析によって顧客の追跡だけでなく行動の認識も可能となる。しかし、カメラ映像から顧客を追跡して移動ルートや購買行動を示す動線を抽出するためには、フレーム毎に常に対象の顧客を検出して同一人物であるか否かを判定し、その結果を保存し続ける必要がある。そのため、分析対象が広範囲である場合や、人物の画像検出率が低い場合は動線が途切れてしまう場合があるという課題や、動線が途切れずに取得できた場合でもデータ量が膨大となり効率的な分析が難しい場合があるという課題がある。

本発明は、以上の点に鑑み、顧客等の人物（対象）の行動の動線を欠落なく効率的に取得することを目的とする。

本発明の第１の解決手段によると、
行動分析装置であって、
計測装置の計測結果から取得した三次元情報から対象の位置を計測する位置情報計測部と、
前記計測装置の計測結果から取得した三次元情報から、対象の移動及び予め定められた行動のうちのいずれかの行動を認識する行動認識部と、
前記計測装置の計測範囲における対象の行動を認識するひとつ又は複数の検知エリアと、前記検知エリアそれぞれにおいて認識すべき行動を設定するエリア情報設定部と、
前記エリア情報設定部で設定された認識すべき行動が認識された場合、当該行動が認識された検知エリア毎の対象の行動を識別する行動ＩＤを含み当該行動を表す行動ログを作成する行動ログ出力部と、
複数の行動ログから同一の対象の行動ログを抽出して各動線ログを作成し、各動線ログと、対象によって遂行される一連の行動を表す予め定められた行動プロセス情報とを比較して、動線ログを複数結合する動線補完部と
を備えた行動分析装置が提供される。

本発明の第２の解決手段によると、
行動分析システムであって、
計測装置と、
前記計測装置から対象の三次元情報を取得する三次元情報取得部と、
行動分析装置と
を備え、
前記行動分析装置は、
前記計測装置の計測結果から取得した三次元情報から対象の位置を計測する位置情報計
測部と、
前記計測装置の計測結果から取得した三次元情報から、対象の移動及び予め定められた行動のうちのいずれかの行動を認識する行動認識部と、
前記計測装置の計測範囲における対象の行動を認識するひとつ又は複数の検知エリアと、前記検知エリアそれぞれにおいて認識すべき行動を設定するエリア情報設定部と、
前記エリア情報設定部で設定された認識すべき行動が認識された場合、当該行動が認識された検知エリア毎の対象の行動を識別する行動ＩＤを含み当該行動を表す行動ログを作成する行動ログ出力部と、
複数の行動ログから同一の対象の行動ログを抽出して各動線ログを作成し、各動線ログと、対象によって遂行される一連の行動を表す予め定められた行動プロセス情報とを比較して、動線ログを複数結合する動線補完部と
を備えた行動分析システムが提供される。

本発明の第３の解決手段によると、
行動分析装置を用いた行動分析方法であって、
前記行動分析装置は、
計測装置の計測結果から取得した三次元情報から対象の位置を計測し、
前記計測装置の計測結果から取得した三次元情報から、対象の移動及び予め定められた行動のうちのいずれかの行動を認識し、
前記計測装置の計測範囲における対象の行動を認識するひとつ又は複数の検知エリアと、前記検知エリアそれぞれにおいて認識すべき行動を設定し、
前記行動分析装置のエリア情報設定部で設定された認識すべき行動が認識された場合、当該行動が認識された検知エリア毎の対象の行動を識別する行動ＩＤを含み当該行動を表す行動ログを作成し、
複数の行動ログから同一の対象の行動ログを抽出して各動線ログを作成し、各動線ログと、対象によって遂行される一連の行動を表す予め定められた行動プロセス情報とを比較して、動線ログを複数結合する行動分析方法が提供される。

本発明によると、顧客等の人物（対象）の行動の動線を欠落なく効率的に取得することができる。

本発明の実施例１の人物行動分析装置の機能ブロック図。三次元情報取得部３のフローを説明する図。位置情報計測部４のフローを説明する図。行動認識部５により認識する顧客行動の一例の説明図。エリア情報設定部６により設定する検知エリアの一例の説明図。行動ログ出力部７により出力する行動ログの一例の説明図。動線補完部８のフローを説明する図。動線補完部８の処理Ｓ１と処理Ｓ２により出力する行動ログと動線ログの一例の説明図。動線補完部８により使用する行動プロセス情報の一例の説明図。動線補完部８により出力する補完された動線ログの一例の説明図。例えば性別の属性を反映した行動ログの一例の説明図を示す。分析結果出力部９により出力する結果の一例の説明図。本発明の実施例２の人物行動分析装置の機能ブロック図。計測情報選定部９３により使用する計測装置と選定する計測項目の対応表の一例の説明図。共通マップ作成部９４のフローを説明する図。複数の計測装置の使用時におけるエリア情報設定部６により設定する検知エリアの一例の説明図。図１６に示した検知エリアの設定例に対して、エリア情報を付加した一例の説明図。

以下、本発明の具体的な実施形態について、図面を参照しながら説明する。

図１は、本発明の実施例１の人物行動分析装置のブロック構成図である。本実施例では、計測装置としてステレオカメラを使用して人物（対象）の位置情報の取得と行動の認識を実施した場合の例を説明するが、本実施例はこれら計測装置に限定されるものでは無い。なお、計測装置としては、例えば、単一のカメラ、三次元センサ、レーザセンサ（レーザレーダ）、赤外線タグ等の様々な計測装置を用いることができる。図１に示す人物行動分析装置１は、２台のカメラ２を隣接したステレオカメラを用いて、カメラ２（撮像装置）中の特定の対象の行動ログに基づき対象の動線を抽出し行動プロセスを分析する装置である。なお、図１において、ブロック３、４、５、６、７、８、９の各機能は、例えば、演算装置、主記憶装置、外部記憶装置を有するカメラ、あるいはカメラとは別に用意した計算機等により実現される。図１に示す各機能の概要をまず説明すると、三次元情報取得部３はステレオカメラから対象の三次元情報を取得する機能、位置情報計測部４は取得した三次元情報から対象の位置を計測する機能、行動認識部５は取得した三次元情報から、対象の位置と、対象の移動および購買等に関する行動を認識する機能、エリア情報設定部６はステレオカメラの計測範囲において対象の位置及び行動を認識する検知エリアを設定する機能、行動ログ出力部７は認識された検知エリア毎の対象の位置及び行動をログデータとして出力する機能、動線補完部８は出力された行動ログを整理して対象の動線を補完する機能、分析結果出力部９は取得した対象の動線情報を分析した結果を出力する機能である。以下、各機能の詳細について説明する。

図２は、三次元情報取得部３によって、ステレオカメラから画像と距離の情報を含む三次元情報を取得するフローを示している。図２において、画像取得部１０はカメラから画像を取得する機能、距離算出部１１は画像取得部１０によってカメラ２からそれぞれ取得した画像とカメラパラメータから画像中の対象とカメラとの距離を算出する機能である。
画像取得部１０は、所定の時間周期で少なくとも１つ以上のカメラ２から取得した可視光をＣＣＤやＣＭＯＳ素子を介して電気信号に変換する手段である。デジタル方式の場合には、これに加えてデジタル変換も行う。以降では、画像取得部１０から出力された画像を撮像画像と称する。
距離算出部１１は、２台のカメラにより得た撮像画像と、各カメラにおいて予め公知のキャリブレーション技術により推定したカメラパラメータから、撮像画像中の物体とカメラとの距離を算出する。なお、距離の算出方法としては、例えば、カメラパラメータから求めた基礎行列Ｆによって視差を算出するステレオマッチングと呼ばれる一般的な手法を使用することができる。基礎行列Ｆは、２台のカメラの相対的な位置関係を示すパラメータ行列であり、以下の数式に示すような２台のカメラの内部パラメータＫ_０、Ｋ_１と外部パラメータＤ_０、Ｄ_１により算出できる。なお、以下の数式において、内部パラメータＫ中のｆは焦点距離、ａはアスペクト比、ｓはスキュー、（ｖ_ｃ，ｕ_ｃ）は画像座標の中心座標を示し、外部パラメータＤ中の（ｒ_１１、ｒ_１２、ｒ_１３、ｒ_２１、ｒ_２２、ｒ_２３、ｒ_３１、ｒ_３２、ｒ_３３）はカメラの向きを示し、（ｔ_ｘ、ｔ_ｙ、ｔ_ｚ）はカメラ設置位置を示す。

図３は、位置情報計測部４によって、三次元情報取得部３から導出した距離情報を使用して対象を検出して位置を計測するフローの一例を示している。図３（ａ）において、計測対象の人物２０ａ、２０ｂ、計測対象外の商品棚２１、カメラから対象までの距離値を画素毎に示す視差画像２２が示される。位置情報計測部４は、まず、図３（ｂ）に示す背景差分処理によって人物の領域を抽出する。図３（ｂ）において、予め取得しておいた背景視差画像２３が示され、画像中には商品棚２１のみ存在している。なお、このような背景視差画像２３は、カメラにより予め撮影して記憶しておくことができる。そのため、位置情報計測部４は、人物が存在する入力の視差画像２２と背景視差画像２３との差分を取ることで、人物のみ存在する人物領域を示す視差画像２４を作成することができる。次に、位置情報計測部４は、図３（ｃ）に示す視点変換処理によって人物領域から人物を区別して、各人物の三次元情報を取得する。図３（ｃ）において、視差画像２４の画像座標と距離情報から推定した人物の三次元情報２５、三次元情報２５を真上の視点から見た俯瞰画像２６が示される。なお、三次元情報とは特定の座標空間上にプロットされた三次元座標の点群の情報を示している。また、俯瞰画像の作成方法としては、カメラパラメータを用いた透視投影といった一般的な方法を使用する。そして、図３（ｃ）に示すように、位置情報計測部４は、俯瞰画像における人物の三次元情報テンプレート２７と、俯瞰画像２６内の各人物の三次元情報の一致度合を算出し、一致度合により人物が存在するか否かを判定することで人物を検出する。次に、位置情報計測部４は、検出した人物の三次元情報から人物の位置情報を測定する。測定方法としては、例えば図３（ｄ）に示すように、俯瞰画像２６における各人物の三次元情報の重心座標２８ａ、２８ｂを人物の位置情報として決定する方法がある。なお、この方法以外にも三次元情報や画像情報を使用して人物を検出して位置を計測できる方法であれば、特に限定しない。

図４は、行動認識部５によって認識する対象の人物（顧客）の移動及び購買に関する行動の一例を示している。図４において、図４（ａ）は計測範囲へ顧客３０が進入する行動、図４（ｂ）は計測範囲から顧客３０が退出する行動、図４（ｃ）は顧客３０が滞留する行動、図４（ｄ）は顧客３０が商品棚３１から商品を手に取る行動、図４（ｅ）は顧客３０がカート３２の中に商品を入れる行動、図４（ｆ）は顧客３０が店舗スタッフ３３からの接客を受ける行動である。
図４（ａ）の「進入」、図４（ｂ）の「退出」、図４（ｃ）の「滞留」については、行動認識部５は、位置情報計測部４によって取得した人物の位置を利用し、例えば、あるエリアの外から中へ人物の位置が移動したときは進入、あるエリアの中から外へ人物の位置が移動したときは退出、一定時間の間人物の位置が変化しないときは滞留として認識する。図４（ｄ）「商品を手に取る」、図４（ｅ）「商品をカートに入れる」、図４（ｆ）「接客」については、行動認識部５は、三次元情報取得部３から取得した三次元情報を利用して、例えば、一般的な三次元の点群解析や画像解析の技術により認識する。例えば、図４（ｄ）「商品を手に取る」は、顧客の手を検出して、顧客の手と商品棚あるいは商品の三次元の点群情報同士が連結したか否か、図４（ｅ）「商品をカートに入れる」は、顧客、商品、カートを別々に認識して、商品の三次元点群が顧客からカートへ移動したか否か、図４（ｆ）「接客」は、顧客と店舗スタッフを別々に認識して、店舗スタッフと顧客の三次元点群情報同士が近接したか否か、などにより判定できる。なお、顧客と店舗スタッフの識別方法としては、例えば、計測範囲において最も長い時間の間又は予め定めた閾値より長い時間の間等に滞留行動を続ける人物を店舗スタッフと検出する方法、あるいは、予め特別な色や形の制服を店舗スタッフに着用してもらい画像情報から店舗スタッフを識別する方法など、特に限定しない。また、認識する顧客の行動としては、図４に示した行動以外にも「商品を見る」、「商品を棚に戻す」、「商品棚の前でうろうろする」などといった顧客の購買に関する行動プロセスを把握するために役立つ行動であれば良く、その認識方法についても三次元情報や画像情報を使用するものであれば特に限定しない。

図５は、エリア情報設定部６によって、計測範囲における顧客の行動を認識する検知エリアの設定例を示している。図５（ａ）は、計測範囲における検知エリアの設定値４０が示される。図５（ｂ）における、計測範囲の俯瞰図４１では、商品棚４２、顧客の「進入」と「退出」の行動を認識する検知エリア４３ａ、４３ｂ、４３ｃ、４３ｄ、顧客の「滞留」の行動を認識する検知エリア４４、顧客の「商品を手に取る」と「商品を棚に戻す」と「商品をカートに入れる」の行動を認識する検知エリア４５、「接客」の行動を認識する検知エリア４６を示す。エリア情報設定部６では、人物行動分析装置の利用者が計測範囲において認識したい顧客の行動を選択し、行動ごとの検知エリアの位置とエリアＩＤを設定する。顧客行動の選択や検知エリアの位置の設定方法としては、例えば、図５のように計測範囲を俯瞰的に見た図をＰＣのディスプレイなどに表示しＧＵＩなどのインタフェースを利用して手動にて設定する方法以外にも、撮像画像や視差画像からシーン認識等により撮影範囲の環境を推定した後に自動で設定する方法や、カメラ映像をそのまま表示して映像中にＧＵＩなどにより直接領域を描き設定する方法など、特に限定しない。なお、検知エリアの位置の設定方法としては、エリア形状は特に矩形に限らず楕円形・円形・三角形・多角形・ひし形などの各種形状を利用しても良く、各検知エリアの重複があっても良い。また、各検知エリアに設定する顧客行動は必ずしも１つではなく、複数以上の行動を設定しても良い。

図６は、行動ログ出力部７によって出力される行動ログと行動ログに記載されるエリアＩＤと行動ＩＤの一覧表の一例を示している。図６は、行動ログ５０、エリアＩＤの一覧表５１、行動ＩＤの一覧表５２、を示す。行動ログ出力部７では、エリア情報設定部６により設定された検知エリア内において、行動認識部５によって特定の行動が認識された場合に、認識時間、エリアＩＤ、行動ＩＤ、人物ＩＤが記載された行動ログを作成し、それを出力する。行動ログの詳細について説明すると、認識時間は行動が認識された瞬間の時間であり、エリアＩＤはエリア情報設定部６によって設定された検知エリアのＩＤ番号、行動ＩＤは行動認識部５によって認識された顧客行動のＩＤ番号、人物ＩＤは行動認識部５によって認識された対象の人物（顧客）のＩＤ番号である。人物ＩＤの割当方法としては、例えば、位置情報計測部４によってフレーム毎に検出された人物において、前フレームと現在フレームにて同一人物が存在するか否かを判定して、存在する場合は同じ人物ＩＤを割り当て、存在しない場合は新たな人物ＩＤを割り当てるといった方法がある。なお、同一人物が存在するか否かを判断する手法としては、例えば、位置情報計測部４によって計測した位置の距離の差が一定の閾値以下であれば同一人物と判定する手法や、画像情報を用いた一般的な顔認識手法によって同一人物であるか否かを判定する手法などを利用する。また、本実施例では、この人物ＩＤの割当が成功しなかった場合においても同一顧客の動線を取得できるため、必ずしも常に同一人物に同じ人物ＩＤが割り当てられる必要は無く、人物ＩＤの割当方法についても前述した方法以外に特に限定されるものではない。また、行動ログの出力方法としては、例えば、テキストファイルやエクセルファイルなど一般的な読み書きが可能な書式を利用するなど、特に限定しない。

図７は、動線補完部８の処理のフローを示している。動線補完部８は、まず全ての（又は処理対象の）行動ログを認識時間に応じて時系列に整列した後（Ｓ１）、整列された行動ログから同一の人物ＩＤの行動ログを抽出して動線ログを作成する（Ｓ２）。次に、動線補完部８は、作成した各動線ログと、商品の購入／未購入に関する一連の顧客行動を表わした予め定められた行動プロセス情報とを比較し欠落があると考えられる動線ログ同士又は一連の行動と推定される動線ログ同士を連結して補完する（Ｓ３）。次に、動線補完部８は、補完した動線ログの動線信頼度を算出し（Ｓ４）、指定した閾値未満の信頼度であれば再度異なる動線ログ同士を組み合わせて動線ログを補完し、閾値以上の信頼度であれば最終の動線ログとして出力する（Ｓ５）。以下、動線補完部８の各処理について説明する。

図８は、動線補完部８の処理Ｓ１により時系列に整列された行動ログと処理Ｓ２によって抽出された同一の人物ＩＤの動線ログの一例を示している。図８は、商品棚４２が存在する計測範囲の俯瞰図６０、行動ＩＤの一覧表６１、処理Ｓ１によって時系列にソートされた行動ログの一例６２、処理Ｓ２により、時系列にソートされた行動ログの中から同一の人物ＩＤを示す行動ログのみ抽出された動線ログの一例であり、順番に、個人ＩＤ１０、個人ＩＤ１１、個人ＩＤ１２、個人ＩＤ１３の動線ログ６３ａ、６３ｂ、６３ｃ、６３ｄ、を示している。動線ログ６３ａ、６３ｂ、６３ｃ、６３ｄは同一と判定された人物の行動ログを整列したものであるため、行動ログの欠落が無い状況においてはこれらの動線ログ情報を辿ることで顧客の動線を把握することが可能となる。しかし、実際には位置計測や行動認識が失敗したり不可能なときなど行動ログに欠落が生じる場合があるため、動線補完部８は、以下に説明する処理Ｓ３と処理Ｓ４にて行動ログの欠落を補完して動線を作成する。

図９は、動線補完部８の処理Ｓ３にて使用する行動ＩＤ一覧表６１に対応した行動プロセス情報の一例を示している。行動プロセス情報は、図９（ａ）のように複数の行列データのみ保持しても良く、あるいは行列データ群と図９（ｂ）のような状態遷移図を組み合わせて保持しても良い。図９は、「商品棚に興味無し」を示す行動プロセス７０、「商品棚に興味あり」を示す行動プロセス７１、「商品購入」を示す行動プロセス７２、「興味を示したが商品未購入」を示す行動プロセス７３、についての行列データである。なお、行動ＩＤ一覧表と行動プロセス情報については、上述以外にも本システムの利用者が分析に必要なものを選定して良く、特に限定しない。例えば、行動ＩＤ一覧表に「接客」等、行動プロセスに「接客を受けず商品購入」、「接客を受け商品購入」、「接客を受けたものの商品未購入」等を加えることで、接客の有無による商品売上高の比較や接客サービスの品質比較などの分析が可能となる。

図１０は、動線補完部８の処理Ｓ３により動線ログ６３ａ、６３ｂ、６３ｃ、６３ｄを行動プロセス情報を用いて結合して補完した動線ログ８０、８１を示している。本例では、最後の動線ログの行動ＩＤが「商品を手に取る」である動線ログ６３ａと、最初の動線ログの行動ＩＤが「商品を棚に戻す」である動線ログ６３ｃを結合し、最後の動線ログの行動ＩＤが「進入」である動線ログ６３ｂと、最初の動線ログの行動ＩＤが「退出」である動線ログ６３ｄを結合することで、動線ログを補完している。なお、処理Ｓ３では、動線ログ同士を補完する際に行動プロセスに沿った結合先の動線ログが存在しない場合は、動線補完部８は、例えば、認識時間の間隔が最も短い動線ログを探索し、ある一定の閾値時間Ｔ_ｓよりも短い場合はその動線ログと結合したものを出力、長い場合は結合せずに動線ログをそのまま出力することができる。例えば、顧客行動の認識に失敗することで動線ログ６３ｃの最初の行動が「滞留終了」の場合、動線ログ６３ａは行動プロセスに適した動線ログを見つけることができない場合が想定される。そのため、動線補完部８は、不完全な動線ログの中で閾値時間Ｔ_ｓ内において最も認識時間が短い動線ログを探索し見つかった場合は結合し、見つからない場合はそのまま結合せずに出力することができる。

動線補完部８では、処理Ｓ３により出力されたこれら全ての動線ログが正確であるか否かを判定するために、処理Ｓ４によって補完された各動線の動線信頼度を算出する。動線信頼度の算出方法として、例えば、以下の数式のように処理Ｓ３から出力された動線の総数と、計測範囲における通行者数との割合から求める方法がある。

ここで、計測範囲における通行者数とは計測範囲の近くを通過した人物の人数であり、例えば図８の俯瞰図６０の場合では、エリア１００とエリア１０１を合わせた領域の少し外側に更に大きな矩形のエリアを設定してそのエリアに進入する人数のみ別途計測することで取得できる。本手法では、動線補完部８は、上述の数式によって出力された動線信頼度が１に近い程、処理３によって出力された動線ログが正確であると判定し、動線信頼度が１よりも特定の閾値以上離れている場合は行動プロセスに沿わない動線ログ同士の結合を解除する、または結合の組み合わせパターンを変更する、または閾値時間Ｔ_ｓの値を変更するなどの方法により、再度動線ログを作成して処理Ｓ４により動線信頼度を算出することができる。

その他の動線信頼度の算出方法としては、処理Ｓ３により出力される不完全な動線ログの数を動線信頼度とし、値が小さい程動線信頼度が高いと判定する方法がある。また、それ以外の方法としては、結合した動線同士の結合元の最後の動線ログ及び結合先の最初の動線ログの認識時間とエリアＩＤを比較し、算出した顧客のエリア間の移動速度を動線信頼度と設定することで、通常の歩行速度に比べ明らかに速いあるいは遅い場合は信頼度が低いと判定する方法などがある。この他にも、顔認識技術や属性推定技術を併用する手法もある。顔認識技術を併用した手法では、行動認識部５によって顧客の行動が認識される際に、画像特徴などを用いた一般的な顔認識技術により顧客の顔情報を数値化し、その値を行動ログや動線ログにも予め書き込んでおくようにしてもよい。そして、結合された動線ログの動線信頼度を算出する際にその数値化された顔情報の差を利用することで動線ログの信頼度を判定することができる。また、属性推定技術を併用した手法としては、行動認識部５によって認識された顧客の属性を予め推定してその属性情報を行動ログや動線ログに反映することで、結合された動線ログにおいて属性情報が同一か否かにより動線信頼度があるかどうかを判定する方法などがある。属性情報としては、年齢、性別、国籍などの他に、個人または集団、カートの使用者または未使用者などといった情報などを利用しても良い。
図１１に、例えば性別の属性を反映した行動ログの一例の説明図を示す。
なお、処理Ｓ３にて出力された動線ログ全ての動線信頼度を算出する方法以外にも、行動プロセスと完全に一致した動線ログは対象から外すや、不完全な動線ログは使用しないといった方法を選択しても良い。

図１２は、分析結果出力部９によって、動線補完部８から出力された顧客の動線ログの情報を分析した結果の出力例である。図１２では、商品に興味を持った顧客における、接客の有無による商品購入率の比較を示しており、接客が行われたことで商品購入率が向上したことがわかる。本分析結果より、店舗側では接客サービスの効果を定量的に把握することができ、業務改善や広告、宣伝方法の見直しなど、効率的な販売促進対策を講じることができる。なお、本実施例は、顧客の動線を欠落無く取得する手法に特化しており、取得した動線を利用した分析方法や分析結果の出力方法などは、動線を入力とするシステムであれば、特に限定しない。

本発明の実施例１では以上説明した機能構成により、計測範囲において顧客行動に応じた検知エリアをひとつ又は複数設定して、認識された検知エリア毎の顧客行動を行動ログとして出力し、時系列情報や行動プロセス情報を用いて出力された行動ログを整理することで、顧客の動線を欠落なく効率的に取得することができる。
なお、実施例１において、計測装置としてカメラ２台を隣接したステレオカメラを使用する以外にも、カメラを１台利用して取得した画像情報から、または、カメラを３台以上利用して取得した画像情報と距離情報から、または、３Ｄセンサを使用して取得した画像情報や三次元情報から顧客の位置計測と行動認識を実施することで図１の一連のフローを実施しても良い。

図１３は、本発明の実施例２の人物行動分析装置のブロック構成図である。図１３において、ブロック２、３、４、５、６，７，８，９の各機能は実施例１と同一である。複数の計測装置を用いた広範囲型人物行動分析装置９１は、ステレオカメラ２の計測装置に加えて別の計測装置９２を併用することで広範囲の人物の動線を取得する。各機能について説明すると、計測情報選定部９３は、使用する計測装置の種類に基づき計測する項目を選定する機能を有する。計測情報選定部９３は、ステレオカメラ２及び計測装置９２に応じて計測項目を選定し、その選定内容に従い、位置情報計測部４による位置計測、行動認識部５による行動認識、あるいはその両方を実施する。共通マップ作成部９４は計測装置９２の計測結果とステレオカメラによる計測結果との位置情報の整合性を取るために予め共通マップを作成し、各計測結果を共通マップ上に反映できる変換情報を取得する機能を有する。また、計測結果変換部９５は、計測情報選定部９３により選定された項目を計測装置ごと（この例では、ステレオカメラ２と計測装置９２）に計測し、その計測結果を共通マップ作成部９４によって取得した情報により変換する機能を有する。以下、計測情報選定部９３と、共通マップ作成部９４と、人物計測部９５の詳細について説明する。

図１４は、計測装置の種類と、計測情報選定部９３によって選定される計測項目との対応表の一例を示している。なお、計測装置としては、人物の位置計測、または人物の行動認識、あるいはその両方を実施できる装置であれば図１４に示す以外の装置でも良く、特に限定しない。また、位置計測と行動認識の両方を実施できる計測装置においては、計測精度が高いと考えられる項目のみ選定するといった方法でも良い。

図１５は、共通マップ作成部９４のフローを説明する図である。共通マップ作成部９４の処理は、例えば計測前等に予め行う処理である。共通マップ作成部９４では、まず、図１５（ａ）に示すような計測範囲における共通のマップ情報を取得する。そして、共通のマップ上において、予め地点１００ａ、１００ｂ、１００ｃ、１００ｄの４カ所にそれぞれ人物又は物体等の基準を配置して各計測装置により人物の位置を計測する。図１５（ｂ）は、計測装置９２における人物の位置の計測結果を、ステレオカメラ２及び計測装置９２等の各計測装置の計算処理内にて使用される二次元座標軸上にプロットした図である。図１５（ｂ）において、プロット１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは、それぞれ図１５（ａ）における地点１００ａ、１００ｂ、１００ｃ、１００ｄに対応している。そのため、４つの対応点を利用することで異なる二次元座標軸同士の透視変換行列を算出することができ、算出した行列により各計測装置にて計測されたプロット位置と共通マップ上の地点の対応付けが可能となる。この透視変換行列をステレオカメラ２及び計測装置２等の各計測装置において求めることで、異なる計測装置の計測結果の整合性を共通マップ上にて取ることができる。なお、本手法のように共通マップを利用して整合性を取る場合には、エリア情報設定部６では共通マップ上に検知エリアを設定することで検知エリアと計測結果との整合性を取ることが容易となる。また、共通マップの作成方法としては、図１５（ａ）に示す商品棚４２のように計測範囲において目印となるものを手動にて描写して作成する、あるいは三次元センサなどにより取得した空間の実情報を用いて自動的に作成しても良い。また、計測装置の座標軸と共通マップの座標軸の対応方法としては、上記で述べた一般的な透視変換以外の手法（例えば射影変換、アフィン変換等の適宜の変換手法）、を使用して変換行列を求めるようにしても良い。なお、異なる計測装置の計測結果の整合性を取る方法としては、共通マップを利用する以外にも、各計測装置の計測結果同士や、計測結果と検知エリアの整合を取ることができる方法であれば、特に限定しない。
計測情報選定部９３によって選定された計測項目に従い、位置情報計測部４が人物の位置計測を実施及び／又は行動認識部５が人物の行動認識を実施した後、計測結果変換部９５は、その計測結果の座標情報を共通マップ作成部９４にて算出した透視変換行列等の変換行列によって変換した結果を出力する。変換後の結果を行動ログ出力部７に渡すことで、同じ座標軸上におけるステレオカメラ２と計測装置９２の行動ログが出力することができる。

本発明の実施例２では以上説明した機能構成により、異なる２台の計測装置によって出力された行動ログを統合することで、広範囲の顧客の動線を欠落なく効率的に取得することができる。

図１６に、複数の計測装置の使用時におけるエリア情報設定部６により設定する検知エリアの一例の説明図を示す。なお、実施例２において、計測装置は２台のみならず３台以上使用しても良く、例えば、計測装置として２台のステレオカメラと１台のレーザセンサを使用し、図１６に示すような検知エリアを設定することで、より広範囲の顧客の動線を取得することができる。図１６は、３つの商品棚４２ａ、４２ｂが存在する計測範囲における共通マップ１１０、商品棚４２ａ付近の拡大図１１１、地点１１２ａに設置したステレオカメラの検知エリア１００、１０１、１０２、１０３、地点１１２ｂに設置したステレオカメラの検知エリア１０４、地点１１３に設置したレーザセンサの検知エリア２００、２０１、２０２、２０３、各検知エリアにて認識する顧客行動の一覧表１１４、を示している。図１６に示す設定方法により、商品棚４２ａにおける顧客の購買行動を詳細に取得できるだけでなく、共通マップ１１０に示す計測範囲全体の顧客の移動の流れを把握することができるため、分析結果から顧客の移動の流れがスムーズになるような棚レイアウト改善案の立案などのサービスを実現できる。なお、エリア情報設定部６において、図１６の例では、異なる計測装置毎の検知エリアに重複が無かったものの、重複して検知エリアを設定しても良い。また、エリア情報設定部６において検知エリアを設定する際に、エリアＩＤに対して「商品棚」や「通路」などのエリア情報を付加することで、行動ログにエリア情報を反映しても良い。

図１７は、図１６に示した検知エリアの設定例に対して、エリア情報を付加した一例の説明図を示している。図１７において、「商品棚Ａ」は商品棚４２ａ付近に設定されたエリア、「商品棚Ｂ」は商品棚４２ｂ付近に設定されたエリアを示しており、「通路」は通行者が通過するというエリア情報である。図１７に示すようなエリア情報を行動ログに付加することで、動線補完部８により動線ログを結合する際の動線信頼度の算出や、分析結果出力部９により出力する分析結果にエリア情報を利用しても良い。例えば、エリア情報を利用して動線信頼度を算出する方法としては、結合した動線同士の結合元の最後の動線ログ及び結合先の最初の動線ログの認識時間とエリア情報を比較し、算出した顧客のエリア間の移動速度を動線信頼度と設定することで、通常の歩行速度に比べ明らかに速いあるいは遅い場合は信頼度が低いと判定する方法などがある。また、エリア情報を分析結果に利用する方法としては、「商品棚」のエリア情報毎に分析結果を出力することで商品棚別の分析を実施する方法などがある。

また、実施例２において、動線補完部８により動線ログを結合する際に利用する動線信頼度の算出方法として、計測装置の特性により信頼度を判定しても良い。例えば、計測装置としてステレオカメラとレーザセンサを使用して、「進入」、「退出」、「滞留」などの位置計測のみに関連する顧客行動の動線ログの場合、人物の重なりが少ない状況ではレーザセンサの位置計測精度が高く、人物の重なりが多い状況ではステレオカメラの位置計測精度が高くなる特性を利用して、計測時における人物の密集度合が低ければレーザセンサの動線ログの信頼度を高くし、密集度合が高ければステレオカメラの動線ログの信頼度を高くするという方法がある。その他の例としては、計測装置としてステレオカメラと三次元センサを使用して、「商品を手に持つ」、「商品を見る」などの人物の詳細な行動認識に関連する顧客高度の動線ログの場合、行動認識精度が高い三次元センサの動線ログの信頼度をステレオカメラの動線ログよりも高くする方法などがある。

［付記］

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、本発明の適用箇所としては上記した実施例に示す店舗などの商業施設に限定されるものではなく、工場、オフィス、物流、医療介護施設などの人物の行動や動向についての情報の分析に適用することが可能である。

１人物行動分析装置
２カメラ
３三次元情報取得部
４位置情報計測部
５行動認識部
６エリア情報設定部
７行動ログ出力部
８動線補完部
９分析結果出力部

Claims

行動分析装置であって、
計測装置の計測結果から取得した三次元情報から対象の位置を計測する位置情報計測部と、
前記計測装置の計測結果から取得した三次元情報から、対象の移動及び予め定められた行動のうちのいずれかの行動を認識する行動認識部と、
前記計測装置の計測範囲における対象の行動を認識するひとつ又は複数の検知エリアと、前記検知エリアそれぞれにおいて認識すべき行動を設定するエリア情報設定部と、
前記エリア情報設定部で設定された認識すべき行動が認識された場合、当該行動が認識された検知エリア毎の対象の行動を識別する行動ＩＤを含み当該行動を表す行動ログを作成する行動ログ出力部と、
複数の行動ログから同一の対象の行動ログを抽出して各動線ログを作成し、各動線ログと、対象によって遂行される一連の行動を表す予め定められた行動プロセス情報とを比較して、動線ログを複数結合する動線補完部とを備えた行動分析装置。
請求項１に記載された行動分析装置において、
前記動線補完部が、時系列情報、行動パターンの情報、対象の属性情報の少なくとも１つ以上を利用して動線ログを補完することを特徴とする行動分析装置。
請求項２に記載された行動分析装置において、
前記動線補完部は、
複数の行動ログを認識時間に応じて時系列に整列し、
整列された複数の行動ログから同一の対象の行動ログを抽出して各動線ログを作成し、
各動線ログと行動プロセス情報を比較し、欠落があると推定される動線ログ同士又は一連の動作と推定される動線ログ同士を結合することで、対象の動線を補完する、
ことを特徴とする行動分析装置。
請求項３に記載された行動分析装置において、
前記動線補完部は、結合して補完された動線ログが正確であるか否かの程度を表す動線信頼度を計算し、動線信頼度に基づき結合する複数の動線ログを選定することを特徴とする行動分析装置。
請求項４に記載された行動分析装置において、
前記動線補完部は、動線信頼度を、時系列情報、対象の位置情報、対象の属性情報の少なくとも１つ以上に基づき算出することを特徴とする行動分析装置。
請求項４に記載された行動分析装置において、
前記動線補完部は、
さらに、補完した動線ログの動線信頼度を算出し、
予め定められた閾値未満の動線信頼度であれば再度異なる動線ログ同士を組み合わせて動線ログを補完し、予め定められた閾値以上の動線信頼度であれば補完した動線ログとして出力することを特徴とする行動分析装置。
請求項１に記載された行動分析装置において、
前記エリア情報設定部は、前記認識すべき行動として、ひとつ又は複数の行動を設定することを特徴とする行動分析装置。
請求項７に記載された行動分析装置において、
前記エリア情報設定部は、検知エリアの設定と認識する対象の行動を設定又は変更する
インタフェースを有することを特徴とする行動分析装置。
請求項１に記載された行動分析装置において、
前記計測装置を複数台使用して対象の行動を認識し、
複数の前記計測装置の計測結果を共通に使用できる動作ログとして出力する計測結果変換部を有することを特徴とする行動分析装置。
請求項１に記載された行動分析装置において、
前記計測装置を複数備え、
各前記計測装置の種類に基づき計測する項目を選定する計測情報選定部と、
各前記計測装置の計測結果の位置情報の整合性を取るための共通マップ上に反映するための変換情報を求める共通マップ作成部と、
前記計測情報選定部により選定された項目に従い、前記位置情報計測部が計測した対象の位置を、前記共通マップ作成部によって求めた変換情報により変換して、複数の前記計測装置の計測結果の整合性を取る計測結果変換部と、
を備えたことを特徴とする行動分析装置。
請求項１に記載された行動分析装置において、
行動ログが、認識された対象の行動、認識時間、検知エリア、対象のＩＤを含み、
前記行動ログ出力部は、行動ログを出力することを特徴とする行動分析装置。
請求項１に記載された行動分析装置において、
取得した対象の動線ログを分析し、商品購入率又は他の分析結果を出力する分析結果出力部をさらに備えた行動分析装置。
行動分析システムであって、
計測装置と、
前記計測装置から対象の三次元情報を取得する三次元情報取得部と、
行動分析装置と
を備え、
前記行動分析装置は、
前記計測装置の計測結果から取得した三次元情報から対象の位置を計測する位置情報計測部と、
前記計測装置の計測結果から取得した三次元情報から、対象の移動及び予め定められた行動のうちのいずれかの行動を認識する行動認識部と、
前記計測装置の計測範囲における対象の行動を認識するひとつ又は複数の検知エリアと、前記検知エリアそれぞれにおいて認識すべき行動を設定するエリア情報設定部と、
前記エリア情報設定部で設定された認識すべき行動が認識された場合、当該行動が認識された検知エリア毎の対象の行動を識別する行動ＩＤを含み当該行動を表す行動ログを作成する行動ログ出力部と、
複数の行動ログから同一の対象の行動ログを抽出して各動線ログを作成し、各動線ログと、対象によって遂行される一連の行動を表す予め定められた行動プロセス情報とを比較して、動線ログを複数結合する動線補完部と
を備えた行動分析システム。
行動分析装置を用いた行動分析方法であって、
前記行動分析装置は、
計測装置の計測結果から取得した三次元情報から対象の位置を計測し、
前記計測装置の計測結果から取得した三次元情報から、対象の移動及び予め定められた行動のうちのいずれかの行動を認識し、
前記計測装置の計測範囲における対象の行動を認識するひとつ又は複数の検知エリアと、前記検知エリアそれぞれにおいて認識すべき行動を設定し、
前記行動分析装置のエリア情報設定部で設定された認識すべき行動が認識された場合、当該行動が認識された検知エリア毎の対象の行動を識別する行動ＩＤを含み当該行動を表す行動ログを作成し、
複数の行動ログから同一の対象の行動ログを抽出して各動線ログを作成し、各動線ログと、対象によって遂行される一連の行動を表す予め定められた行動プロセス情報とを比較して、動線ログを複数結合する行動分析方法。