JP6145850B2 - 人物行動分析装置、人物行動分析システムおよび人物行動分析方法 - Google Patents

人物行動分析装置、人物行動分析システムおよび人物行動分析方法 Download PDF

Info

Publication number
JP6145850B2
JP6145850B2 JP2015112241A JP2015112241A JP6145850B2 JP 6145850 B2 JP6145850 B2 JP 6145850B2 JP 2015112241 A JP2015112241 A JP 2015112241A JP 2015112241 A JP2015112241 A JP 2015112241A JP 6145850 B2 JP6145850 B2 JP 6145850B2
Authority
JP
Japan
Prior art keywords
access operation
behavior
analysis
analysis information
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015112241A
Other languages
English (en)
Other versions
JP2016224800A (ja
Inventor
雄二 里
雄二 里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015112241A priority Critical patent/JP6145850B2/ja
Priority to US15/573,989 priority patent/US20180293598A1/en
Priority to PCT/JP2016/001626 priority patent/WO2016194274A1/ja
Publication of JP2016224800A publication Critical patent/JP2016224800A/ja
Application granted granted Critical
Publication of JP6145850B2 publication Critical patent/JP6145850B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析装置、人物行動分析システムおよび人物行動分析方法に関するものである。
コンビニエンスストアやスーパーマーケットなどの小売店において、顧客が陳列棚に陳列された商品を手に取る行動は、商品に対する顧客の関心の大きさを表し、また、商品を手に取ったものの購入するに至らなかった場合には、商品説明や陳列方法などに問題があることが考えられるため、顧客が陳列棚の商品を手に取る商品取得行動に関する分析を行うことで、店舗を運営する上で有益な情報を得ることができる。
このような顧客の商品取得行動に関する分析を行うには、陳列棚の手前に滞留する顧客を観察して、顧客の商品取得行動を検知する必要があり、これに関連するものとして、従来、画像認識技術を用いて、カメラにより陳列棚の周辺を撮影した撮影画像に基づいて、陳列棚に手を伸ばす動作を検出する技術が知られている（特許文献１，２参照）。
特開２００１−１２８８１４号公報 特開２０１２−０８８８７８号公報
さて、店舗では、陳列棚の商品を並べ直すフェイスアップなどの整頓作業や、新しい商品を陳列棚に並べる品出し作業や、売れ残った商品を陳列棚から取り出す廃棄作業などの商品管理作業を陳列棚の前で店員が行い、このとき、店員が顧客と同じように陳列棚に手を伸ばす動作を行う。しかしながら、前記従来の技術では、陳列棚に手を伸ばす動作を検出することができるが、その動作の主体が店員および顧客のいずれであるかを判別することができない。このため、分析情報の中に店員の行動が含まれ、顧客の商品取得行動に関する分析情報を精度良く取得することができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、陳列エリアに手を伸ばす動作の主体が店員および顧客のいずれであるかを判別して、顧客の商品取得行動に関する分析情報を精度良く取得することができるように構成された人物行動分析装置、人物行動分析システムおよび人物行動分析方法を提供することにある。
本発明の人物行動分析装置は、陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析装置であって、前記陳列エリアの周辺を撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する画像解析部と、この画像解析部で取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出するアクセス動作検出部と、このアクセス動作検出部で検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する行動判定部と、この行動判定部の判定結果、および前記アクセス動作検出部の検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する分析情報生成部と、を備え、前記行動判定部は、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、前記分析情報生成部は、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成する構成とする。
また、本発明の人物行動分析システムは、陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析システムであって、前記陳列エリアの周辺を撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラにより撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する画像解析部と、この画像解析部で取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出するアクセス動作検出部と、このアクセス動作検出部で検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する行動判定部と、この行動判定部の判定結果、および前記アクセス動作検出部の検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する分析情報生成部と、を備え、前記行動判定部は、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、前記分析情報生成部は、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成する構成とする。
また、本発明の人物行動分析方法は、陳列エリアに配置された商品を手に取る人物の行動に関する分析処理を情報処理装置に行わせる人物行動分析方法であって、前記陳列エリアの周辺を撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する第１のステップと、この第１のステップで取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出する第２のステップと、この第２のステップで検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する第３のステップと、この第３のステップでの判定結果、および前記第２のステップでの検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する第４のステップと、を備え、前記第３のステップにより、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、前記第４のステップにより、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成する構成とする。
本発明によれば、人物のアクセス動作から店員の行動パターンに該当するアクセス動作を排除するので、顧客の商品取得行動に関する分析情報を精度よく取得することができ、分析情報から商品に対する顧客の関心度をユーザが把握することができる。
本実施形態に係る人物行動分析システムを示す全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 ＰＣ３の概略構成を示す機能ブロック図 人物が陳列エリア（陳列棚）に手を伸ばしたときの身体の姿勢の一例を示す説明図 解析情報蓄積部２２に蓄積された滞留フレームデータの一例を示す説明図 腕部動作状態判定部３４およびアクセス動作検出部２３で行われる処理を説明する説明図 基幹部姿勢および腕部姿勢とアクセス位置（陳列棚の上段、中段および下段）との関係を示す説明図 陳列エリアの各位置でのアクセス回数を表すヒストグラムを示す説明図 解析情報蓄積部２２に蓄積された滞留フレームデータの一例を示す説明図 解析情報蓄積部２２に蓄積された滞留フレームデータの一例を示す説明図 分析情報生成部２７で生成される分析情報の一例を示す説明図
前記課題を解決するためになされた第１の発明は、陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析装置であって、前記陳列エリアの周辺を撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する画像解析部と、この画像解析部で取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出するアクセス動作検出部と、このアクセス動作検出部で検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する行動判定部と、この行動判定部の判定結果、および前記アクセス動作検出部の検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する分析情報生成部と、を備え、前記行動判定部は、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、前記分析情報生成部は、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成する構成とする。
これによると、人物のアクセス動作から店員の行動パターンに該当するアクセス動作を排除するので、顧客の商品取得行動に関する分析情報を精度よく取得することができ、分析情報から商品に対する顧客の関心度をユーザが把握することができる。
また、第２の発明は、前記分析情報生成部は、所定の時間帯における前記アクセス動作のすべてを店員の動作でないとみなして、前記分析情報を生成する構成とする。
これによると、顧客が多数来店するピーク時間帯や、作業スケジュールで別の作業の実施が規定された時間帯では、通常、店員は商品管理作業を行わないため、このような時間帯のアクセス動作は、行動パターンに関する判定を行うことなく、すべて顧客の動作とみなすことができるため、分析情報の生成処理を簡略化することができる。
また、第３の発明は、前記分析情報生成部は、店員が通常待機する場所を撮影した撮影画像に基づいて、店員の人数を検出して、前記分析情報を生成する構成とする。
これによると、店員が通常待機する場所での人数を把握することで、店員が商品管理作業を行っているか否かを把握することができ、すべてが顧客の動作か否かを判別できるため、分析情報の生成処理を効率的に行うことができる。
また、第４の発明は、前記行動パターンは、品出し、廃棄、およびフェイスアップの少なくとも１つの作業項目に関するものである構成とする。
これによると、陳列エリアで店員が実施する商品管理作業は、主に品出し、廃棄およびフェイスアップのいずれかの作業項目となるため、これらの作業項目に関する行動パターンを判定することで、アクセス動作の主体が店員であるか否かを精度よく判定することができる。また、店員が実施する商品管理作業の各作業項目の行動パターンに関する判定を行う場合には、店員が実施した作業が、品出し、廃棄およびフェイスアップのいずれであるかを特定することができる。
また、第５の発明は、前記行動判定部は、人物が前記陳列エリアの手前に滞在する１回の滞在期間における前記アクセス動作の回数に基づいて、前記行動パターンに関する判定を行う構成とする。
これによると、アクセス動作の回数（アクセス回数）に注目することで、行動パターンを簡便にかつ精度良く判定することができる。例えば、顧客の場合にはアクセス回数が少なくなるが、店員の場合にはアクセス回数が多くなるため、顧客の行動パターンと店員の行動パターンとを判別することができる。
また、第６の発明は、さらに、前記画像解析部で取得した前記解析情報に基づいて、前記陳列エリアにおける前記アクセス動作の対象となるアクセス位置を判定するアクセス位置判定部を備え、前記行動判定部は、前記アクセス位置判定部の判定結果に基づいて、前記アクセス位置ごとの前記アクセス動作の回数を表すヒストグラムを生成して、このヒストグラムに基づいて前記行動パターンを判定する構成とする。
これによると、アクセス位置ごとのアクセス動作の回数に注目することで、行動パターンを簡便にかつ精度良く判定することができる。例えば、顧客の場合には、陳列エリアの一部にしか手を伸ばさないが、店員の場合には、陳列エリアの全体に満遍なく手を伸ばすため、アクセス位置ごとのアクセス回数を表すヒストグラムを生成することで、行動パターンを精度良く判定することができる。
また、第７の発明は、陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析システムであって、前記陳列エリアの周辺を撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラにより撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する画像解析部と、この画像解析部で取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出するアクセス動作検出部と、このアクセス動作検出部で検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する行動判定部と、この行動判定部の判定結果、および前記アクセス動作検出部の検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する分析情報生成部と、を備え、前記行動判定部は、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、前記分析情報生成部は、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成する構成とする。
これによると、第１の発明と同様に、人物のアクセス動作から店員の行動パターンに該当するアクセス動作を排除するので、顧客の商品取得行動に関する分析情報を精度よく取得することができ、分析情報から商品に対する顧客の関心度をユーザが把握することができる。
また、第８の発明は、陳列エリアに配置された商品を手に取る人物の行動に関する分析処理を情報処理装置に行わせる人物行動分析方法であって、前記陳列エリアの周辺を撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する第１のステップと、この第１のステップで取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出する第２のステップと、この第２のステップで検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する第３のステップと、この第３のステップでの判定結果、および前記第２のステップでの検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する第４のステップと、を備え、前記第３のステップにより、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、前記第４のステップにより、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成する構成とする。
これによると、第１の発明と同様に、人物のアクセス動作から店員の行動パターンに該当するアクセス動作を排除するので、顧客の商品取得行動に関する分析情報を精度よく取得することができ、分析情報から商品に対する顧客の関心度をユーザが把握することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係る人物行動分析システムを示す全体構成図である。この人物行動分析システムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、カメラ（撮像装置）１と、レコーダ（録画装置）２と、ＰＣ（閲覧装置）３と、を備えている。
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮影され、このカメラ１で撮影された店舗内の撮影画像がレコーダ２に蓄積される。
ＰＣ３には、店長などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。このＰＣ３は、店舗内の適所に設置され、ユーザが、モニタ７に表示される監視画面により、カメラ１で撮影された店舗内の撮影画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮影画像を閲覧することができる。
また、カメラ１、レコーダ２およびＰＣ３は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはＰＣ１１が設置されており、このＰＣ１１では、カメラ１で撮影された店舗内の撮影画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮影画像（動画）を閲覧することができ、これにより本部で店舗内の状況を確認することができる。
店舗に設置されたＰＣ３は、店舗内での人物の行動に関する分析を行う人物行動分析装置として構成され、このＰＣ３で生成した分析情報は、ＰＣ３自身で店舗側のユーザ、例えば店長が閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行うスーパーバイザーなどが閲覧することができ、ＰＣ３，１１が分析情報を閲覧する閲覧装置として構成される。
次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
店舗には、出入口、陳列棚、およびレジカウンタなどが設けられている。陳列棚（陳列エリア）は、ファーストフード、米飯（おにぎり、弁当、寿司などの商品）、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
また、店舗には、店舗内（監視エリア）を撮影する複数のカメラ１が設置されている。このカメラ１は、店舗内の通路上の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、視野角の限定される箱型カメラが採用され、このカメラ１により、陳列棚の前に滞在する人物を側方の斜め上方から撮影することができる。これにより、人物が陳列棚に陳列された商品を手に取るために陳列棚に手を伸ばす動作（アクセス動作）の状況がカメラ１による撮影画像に現れる。
次に、図１に示したＰＣ３の概略構成について説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。
ＰＣ３は、画像解析部２１と、解析情報蓄積部２２と、アクセス動作検出部２３と、アクセス位置判定部２４と、行動判定部２５と、行動パターン情報保持部２６と、分析情報生成部２７と、分析対象設定部２８と、を備えている。
画像解析部２１は、陳列エリアの周辺をカメラで撮影した撮影画像を解析して、陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得するものであり、人物検出部３１と、基幹部姿勢検出部３２と、腕部姿勢検出部３３と、腕部動作状態判定部３４と、を備えている。この画像解析部２１には、撮影画像がカメラ１またはレコーダ２から入力される。なお、画像解析部２１で行われる処理では、公知の人物認識技術や行動認識技術などを用いることができる。
人物検出部３１では、撮影画像から、陳列エリア（陳列棚）の手前に滞留する人物を検出する。特に、この人物検出部３１では、どの陳列棚の手前に人物が滞留しているかを判別する。陳列棚は、商品のカテゴリー（種類）別に分けて複数配置されており、人物が滞留している位置に対応する陳列棚を特定することで、その人物がどのカテゴリーの商品に関心があるかを判別することができる。
基幹部姿勢検出部３２では、人物検出部３１で検出された人物ごとの基幹部姿勢（Trunk Pose）を検出する。この基幹部姿勢は、陳列棚に手を伸ばしたときの身体の基幹部の姿勢を表すものであり、本実施形態では、真っ直ぐに立っている直立姿勢（standing）と、前屈みに立っている前傾姿勢（bending）と、ひざを折り曲げて腰を落としたしゃがみ姿勢（sitting）との３つの姿勢を検出する。この基幹部姿勢は、腕部を除く身体の基幹部を複数の領域、例えば頭部、胴部、腰部、上脚部および下脚部の５つの領域に分割して、各領域の位置関係により規定される基幹部の形状に基づいて判定される。
腕部姿勢検出部３３では、人物検出部３１で検出された人物ごとの腕部姿勢（Arm Pose）を検出する。この腕部姿勢は、陳列棚に手を伸ばしたときの腕部の姿勢を表すものであり、本実施形態では、腕部を斜め下向きに伸ばした第１の伸び姿勢（st1）から、腕部を斜め上向きに伸ばした第６の伸び姿勢（st6）までの６段階の伸び姿勢と、腕部を折り曲げた曲げ姿勢（be）とを検出する。この腕部姿勢は、身体の基幹部と腕部との位置関係（角度など）、および腕部の地面からの高さに基づいて判定される。
腕部動作状態判定部３４では、腕部姿勢検出部３３で検出された腕部姿勢（Arm Pose）に基づいて、人物ごとの腕部動作状態（Arm Action）を判定する。この腕部動作状態は、腕部の屈伸動作の状態を表すものであり、本実施形態では、腕を伸ばした状態（STRETCH）と、腕を縮めた状態（BEND）との２つの状態を判定する。
この画像解析部２１では、基幹部姿勢検出部３２、腕部姿勢検出部３３および腕部動作状態判定部３４の処理が、人物検出部３１で滞留する人物が検出されたフレームごとに行われ、その処理結果である滞留フレームデータが画像解析部２１から出力され、この滞留フレームデータが解析情報蓄積部２２に蓄積される。
アクセス動作検出部２３では、画像解析部２１で取得した解析情報、特に腕部動作状態判定部３４で判定された腕部動作状態（Arm Action）に基づいて、対象とする人物が陳列エリア（陳列棚）に手を伸ばすアクセス動作を検出する。この処理では、腕部動作状態が曲げ状態（BEND）から伸び状態（STRETCH）に変化した後に再び曲げ状態に戻ると、人物が手を伸ばして戻す１回のアクセス動作を行ったものと判定する。
アクセス位置判定部２４では、画像解析部２１で取得した解析情報、特に基幹部姿勢検出部３２および腕部姿勢検出部３３でそれぞれ検出された基幹部姿勢（Trunk Pose）および腕部姿勢（Arm Pose）に基づいて、陳列エリアにおけるアクセス動作の対象となるアクセス位置、すなわち、人物が陳列エリア（陳列棚）のどの位置（上段、中段および下段）に手を伸ばしたかを判定する。この処理では、アクセス動作検出部２３で検出されたアクセス動作ごとにアクセス位置を取得する。
行動判定部２５では、アクセス動作検出部２３で検出されたアクセス動作の発生状況に基づいて、アクセス動作が所定の行動パターンに該当するか否かを判定する。
ここで、行動判定部２５は統計処理部３５を備えており、この統計処理部３５では、判定対象となる人物ごとに、陳列エリアの手前に滞在する１回の滞在期間におけるアクセス動作をカウントして、アクセス動作の回数（アクセス回数）を取得する。このとき、アクセス位置判定部で取得したアクセス動作ごとのアクセス位置に基づいて、陳列エリアの各位置別にアクセス動作をカウントすることで、陳列エリアの各位置でのアクセス回数を取得して、陳列エリアの各位置でのアクセス回数を表すヒストグラムを生成する。
そして、行動判定部２５において、統計処理部３５で取得した人物ごとのヒストグラムを、行動パターン情報保持部２６に保持された基準ヒストグラムと比較して、両者の類似度を求め、その類似度に基づいて、アクセス動作が所定の行動パターンに該当するかを判定する。
特に、本実施形態では、店員の行動パターンに基づく基準ヒストグラムが行動パターン情報保持部２６に保持されており、この店員に関する基準ヒストグラムと、判定対象となる人物のヒストグラムとを比較することで、アクセス動作が店員の行動パターンに該当するか否か、すなわちアクセス動作の主体が店員であるか否かを判定することができる。
また、本実施形態では、店員が実施する商品管理作業の各作業項目の行動パターンに基づく基準ヒストグラムが行動パターン情報保持部２６に保持されており、この各作業項目に関する基準ヒストグラムと、判定対象となる人物のヒストグラムとを比較することで、アクセス動作がどの作業項目の行動パターンに該当するか、すなわち店員がどの作業項目を実施したかを判定することができる。
分析情報生成部２７では、アクセス動作検出部２３の検出結果および行動判定部２５の判定結果に基づいて、所定の行動パターンに該当するか否かに応じてアクセス動作を選別して、アクセス動作の発生状況に関する分析情報を生成する。この分析情報生成部２７で生成した分析情報はモニタ７に表示される。なお、図示しないプリンタで分析情報を出力するようにしてもよい。
特に、分析情報生成部２７では、アクセス動作検出部２３で検出されたアクセス動作を所定の単位期間ごとにカウントして、単位期間ごとのアクセス回数を求めて、分析情報として、アクセス回数の時間的な推移状況を示すヒストグラムを生成する。
ここで、本実施形態では、行動判定部２５において、アクセス動作が店員の行動パターンに該当するか否かを判定する、すなわちアクセス動作の主体が店員であるか否かを判定するため、この行動判定部２５の判定結果に基づいて、分析情報生成部２７において、店員によるものと判定されたアクセス動作を排除することで、顧客に関する分析情報を生成することができる。また、店員によるものと判定されたアクセス動作に限定することで、店員に関する分析情報を生成することができる。
この顧客および店員に関する分析情報は、ユーザの選択に応じて生成される。すなわち、本実施形態では、分析対象設定部２８において、分析対象（顧客および店員）を選択するユーザの入力操作に応じて分析対象が設定され、分析情報生成部２７において、分析対象設定部２８で設定された分析対象に基づいて分析情報を生成する。これにより、ユーザの必要に応じて、顧客および店員のいずれかに関する分析情報が生成される。
また、本実施形態では、アクセス位置判定部２４において、陳列エリア（陳列棚）内のアクセス位置（上段、中段および下段）を判定するため、このアクセス位置判定部２４の判定結果に基づいて、分析情報生成部２７において、陳列エリア内の各位置でのアクセス動作の発生状況に関する分析情報を生成することができる。特に、アクセス動作検出部２３で検出されたアクセス動作をアクセス位置ごとにカウントして、アクセス位置ごとのアクセス回数を求めることで、陳列エリア内の各位置でのアクセス回数に関する分析情報を生成することができる。
ここで、分析情報が顧客に関するものであれば、陳列エリア内の各位置（陳列棚の上段、中段および下段）での商品の関心度を、ユーザが分析情報から把握することができる。また、分析情報が店員に関するものであれば、陳列エリア内の各位置での作業の実施状況を、ユーザが分析情報から把握することができる。
また、分析情報生成部２７では、所定の時間帯におけるアクセス動作をすべて店員の動作でない、すなわち、顧客の動作と判断して、分析情報を生成する。
店員は、顧客が多数来店するピーク時間帯では、商品管理作業を行わない。また、作業スケジュールで商品管理作業以外の作業、例えばレジカウンタでの会計作業に従事するように規定された時間帯では、店員は商品管理作業を行わない。そこで、本実施形態では、このような店員が商品管理作業を行わない時間帯では、検出されたアクセス動作をすべて顧客の動作とみなして、分析情報を生成する。
なお、図３に示したＰＣ３の各部は、ＰＣ３のプロセッサ（ＣＰＵ）にＨＤＤ等のメモリに保存した人物行動分析用のプログラム（インストラクション）を実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成するほか、所定のＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、図３に示した画像解析部２１の基幹部姿勢検出部３２および腕部姿勢検出部３３で行われる処理について説明する。図４は、人物が陳列エリア（陳列棚）に手を伸ばしたときの身体の姿勢の一例を示す説明図である。
本実施形態では、画像解析部２１の基幹部姿勢検出部３２において、陳列エリア（陳列棚）に手を伸ばしたときの身体の基幹部の姿勢を表す基幹部姿勢（Trunk Pose）を人物ごとに検出し、腕部姿勢検出部３３において、陳列棚に腕部を伸ばしたときの腕部の姿勢を表す腕部姿勢（Arm Pose）を人物ごとに検出する。
ここで、本実施形態では、基幹部姿勢（Trunk Pose）として、直立姿勢（standing）と、前傾姿勢（bending）と、しゃがみ姿勢（sitting）との３つの姿勢を検出する。また、腕部姿勢（Arm Pose）として、腕部を伸ばしたときの角度が異なる第１の伸び姿勢（st1）から第６の伸び姿勢（st6）までの６つの伸び姿勢と、腕部を折り曲げた曲げ姿勢（be）とを検出する。
図４（Ａ）は、陳列棚の上段に手を伸ばした場合、すなわちアクセス位置が陳列棚の上段となる場合であり、基幹部姿勢が直立姿勢（standing）となり、腕部姿勢が第６の伸び姿勢（st6）となっている。図４（Ｂ）も、アクセス位置が陳列棚の上段となる場合であり、基幹部姿勢が直立姿勢（standing）となり、腕部姿勢が第５の伸び姿勢（st5）となっている。
図４（Ｃ）は、陳列棚の中段に手を伸ばした場合、すなわちアクセス位置が陳列棚の中段となる場合であり、基幹部姿勢が直立姿勢（standing）となり、腕部姿勢が第４の伸び姿勢（st4）となっている。図４（Ｄ）も、アクセス位置が陳列棚の中段となる場合であり、基幹部姿勢が前傾姿勢（bending）となり、腕部姿勢が第３の伸び姿勢（st3）となっている。
図４（Ｅ）は、陳列棚の下段に手を伸ばした場合、すなわちアクセス位置が陳列棚の下段となる場合であり、基幹部姿勢が前傾姿勢（bending）となり、腕部姿勢が第２の伸び姿勢（st2）となっている。図４（Ｆ）も、アクセス位置が陳列棚の下段となる場合であり、基幹部姿勢がしゃがみ姿勢（sitting）となり、腕部姿勢が第１の伸び姿勢（st1）となっている。
次に、図３に示した解析情報蓄積部２２に蓄積された滞留フレームデータについて説明する。図５は、解析情報蓄積部２２に蓄積された滞留フレームデータの一例を示す説明図であり、図５（Ａ）に、アクセス位置が陳列棚の上段である場合を示し、図５（Ｂ）に、アクセス位置が陳列棚の中段である場合を示し、図５（Ｃ）に、アクセス位置が陳列棚の下段である場合を示す。
本実施形態では、画像解析部２１での解析結果である滞留フレームデータ（解析情報）が解析情報蓄積部２２に蓄積される。この滞留フレームデータには、フレームの撮影時刻（Time）、人物ＩＤ（Hum ID）、陳列棚ＩＤ（Shelf）、基幹部姿勢（Trunk Pose）、腕部姿勢（Arm Pose）、および腕部動作状態（Arm Action）の各項目の情報が格納されている。この滞留フレームデータでは、フレームごとの解析結果が行単位で格納されている。
人物ＩＤは、人物検出部３１で検出された人物に付与される識別情報である。陳列棚ＩＤは、予め陳列棚ごとに付与された識別情報である。本実施形態では、人物検出部３１において、撮影画像から人物を検出するとともに、その人物がどの陳列棚の手前に滞留しているかが判別され、該当する陳列棚ＩＤが滞留フレームデータに格納される。
基幹部姿勢（Trunk Pose）は、基幹部姿勢検出部３２の検出結果であり、前記のように、陳列棚に手を伸ばしたときの身体の基幹部の姿勢を表すものであり、直立姿勢（standing）と、前傾姿勢（bending）と、しゃがみ姿勢（sitting）との３つの姿勢がある。腕部姿勢（Arm Pose）は、腕部姿勢検出部３３の検出結果であり、陳列棚に腕部を伸ばしたときの腕部の姿勢を表すものであり、腕部を伸ばしたときの角度が異なる第１の伸び姿勢（st1）から第６の伸び姿勢（st6）までの６つの伸び姿勢と、曲げ姿勢（be）とがある。腕部動作状態（Arm Action）は、腕部動作状態判定部３４の判定結果であり、腕部の屈伸動作の状態を表すものであり、伸び状態（STRETCH）と、曲げ状態（BEND）との２つの状態がある。
次に、図３に示した腕部動作状態判定部３４およびアクセス動作検出部２３で行われる処理について説明する。図６は、腕部動作状態判定部３４およびアクセス動作検出部２３で行われる処理を説明する説明図である。
本実施形態では、腕部動作状態判定部３４において、腕部姿勢検出部３３で検出された腕部姿勢に基づいて腕部動作状態が判定され、腕部姿勢の変化に応じて腕部動作状態も変化する。このとき、腕部動作状態と相反する腕部姿勢が所定数のフレームで検出されると、腕部動作状態を変化させる。すなわち、腕部動作状態と相反する腕部姿勢が検出されたフレームをカウントし、そのカウント値が所定のフレーム数（例えば、３フレーム）に達すると、腕部動作状態を変化させる。
具体的には、腕部動作状態が伸び状態（STRETCH）となっている場合に、その伸び状態と相反する曲げ姿勢（be）が所定のフレーム数だけ検出されると、腕部動作状態が曲げ状態（BEND）に変化する。また、腕部動作状態が曲げ状態（BEND）となっている場合に、その曲げ状態と相反する伸び姿勢（st1〜st6）が所定のフレーム数だけ検出されると、腕部動作状態が伸び状態（STRETCH）に変化する。
なお、フレームをカウントする際に伸び姿勢（st1〜st6）および曲げ姿勢（be）は必ずしも連続していなくてもよい。また、腕部動作状態が変化すると、カウント値がリセットされる。
アクセス動作検出部２３では、滞留フレームデータに格納された腕部動作状態（Arm Action）に基づいてアクセス動作を検出する。腕部動作状態が曲げ状態（BEND）から伸び状態（STRETCH）に変化した後に再び曲げ状態に戻ると、人物が手を伸ばして戻す１回のアクセス動作を行ったものと判定する。
このように、腕部動作状態判定部３４では、所定数のフレームでの腕部姿勢に基づいて腕部動作状態が判定されるため、腕部動作状態は、そのときの腕部姿勢と異なる場合があるが、複数のフレームで判定するため、腕部姿勢の誤検出による腕部動作状態の精度低下を避けて、アクセス動作検出部２３でのアクセス動作の検出を精度良く行うことができる。
次に、図３に示したアクセス位置判定部２４で行われる処理について説明する。図７は、基幹部姿勢および腕部姿勢とアクセス位置（陳列棚の上段、中段および下段）との関係を示す説明図である。
本実施形態では、アクセス位置判定部２４において、画像解析部２１の基幹部姿勢検出部３２および腕部姿勢検出部３３でそれぞれ検出された基幹部姿勢および腕部姿勢に基づいて、陳列エリアにおけるアクセス位置、すなわち、人物が陳列エリア（陳列棚）のどの位置（上段、中段および下段）に手を伸ばしたかを判定する。
ここで、陳列棚の上段に手を伸ばした場合、すなわちアクセス位置が陳列棚の上段である場合には、基幹部姿勢が直立姿勢であり、腕部姿勢が第５の伸び姿勢および第６の伸び姿勢のいずれかとなる（図５（Ａ）参照）。
陳列棚の中段に手を伸ばした場合、すなわちアクセス位置が陳列棚の中段である場合には、基幹部姿勢が直立姿勢および前傾姿勢のいずれかとなり、腕部姿勢が第３の伸び姿勢および第４の伸び姿勢のいずれかとなる（図５（Ｂ）参照）。
陳列棚の下段に手を伸ばした場合、すなわちアクセス位置が陳列棚の下段である場合には、基幹部姿勢が前傾姿勢およびしゃがみ姿勢のいずれかとなり、腕部姿勢が第１の伸び姿勢および第２の伸び姿勢のいずれかとなる（図５（Ｃ）参照）。
このように、アクセス位置（陳列棚の上段、中段および下段）に応じて、基幹部姿勢および腕部姿勢の組み合わせが異なるため、基幹部姿勢および腕部姿勢に基づいて、アクセス位置を判定することができる。
次に、図３に示した行動判定部２５で行われる処理について説明する。図８は、陳列エリアの各位置でのアクセス回数を表すヒストグラムを示す説明図であり、図８（Ａ）に、顧客の場合を示し、図８（Ｂ−１）、図８（Ｂ−２）および図８（Ｂ−３）にそれぞれ、店員が実施する作業がフェイスアップ、品出しおよび廃棄である場合を示す。
本実施形態では、行動判定部２５の統計処理部３５において、判定対象となる人物ごとに、陳列エリアの手前に滞在する１回の滞在期間におけるアクセス動作を、陳列エリアの各位置（陳列棚の上段、中段および下段）別にカウントして、陳列エリアの各位置でのアクセス回数を取得して、陳列エリアの各位置でのアクセス回数を表すヒストグラムを生成する。
ここで、顧客の場合には、陳列棚に陳列された商品の中に購入する商品や関心がある商品が見つかると、その商品を手に取るために陳列棚に手を伸ばすが、このとき、顧客が手に取る商品はせめて数個程度である。また、顧客が手を伸ばす範囲は陳列棚の一部に偏っており、陳列棚の上段、中段および下段のすべての棚に手を伸ばすことは殆どない。このため、ヒストグラムでは、図８（Ａ）に示すように、アクセス回数が少なく、且つアクセス位置も少なくなる。
一方、店員の場合には、陳列棚の前で陳列棚の商品を並べ直すなどの商品管理作業を行うが、このとき、店員は頻繁に手を動かす。また、商品管理作業は１つの陳列棚の全体を対象にして行われるため、陳列棚の全体に満遍なく手を伸ばす。このため、ヒストグラムでは、図８（Ｂ−１），（Ｂ−２），（Ｂ−３）に示すように、アクセス回数が多く、且つアクセス位置も多くなる。
また、店員の場合、陳列棚の手前側に商品が整列するように商品を並べ直すフェイスアップ（前陳）、新しい商品を陳列棚に並べる品出し、売れ残った商品を陳列棚から取り出す廃棄の各作業を行うが、これらの作業項目に応じてアクセス動作の発生状況が異なる。
すなわち、フェイスアップの場合には、陳列棚の奥側にある商品を手前側に移動させる作業となり、手を伸ばして戻す動作を規則的に繰り返すが、陳列された複数の商品をまとめて扱うこともある。このため、ヒストグラムでは、図８（Ｂ−１）に示すように、アクセス回数は比較的少ない。なお、フェイスアップの他に、売れ残り感を低減するために棚の中央に商品をまとめるボリューム陳列などの整頓作業が行われるが、このような整頓作業もフェイスアップの場合と同様である。
また、品出しの場合には、カートに積まれた新しい商品を取り出して陳列棚に並べる作業となり、フェイスアップの場合と同様に、手を伸ばして戻す動作を繰り返し、また、複数の商品をまとめて扱うこともあるが、新しい商品を陳列棚に並べる作業に加えて、既に陳列棚に陳列されていた商品を並べ直す作業も同時に行う。このため、ヒストグラムでは、図８（Ｂ−２）に示すように、アクセス回数がフェイスアップより多くなる。
また、廃棄の場合には、陳列棚の商品を取り出す作業となり、手を伸ばして戻す動作を繰り返し行うが、フェイスアップや品出しの場合のように、複数の商品をまとめて扱うことはあまりなく、陳列棚の商品を一つずつ手に取って商品の消費期限を見て廃棄対象か否かを確認する作業となる。このため、したがって、ヒストグラムでは、図８（Ｂ−３）に示すように、フェイスアップや品出しの場合よりアクセス回数が多くなる。
このように、顧客と店員とでは行動パターンが異なり、ヒストグラムも大きく異なるものになる。また、店員が実施する商品管理作業の作業項目に応じて行動パターンが異なり、作業項目ごとのヒストグラムも異なるものになる。
そこで、本実施形態では、行動判定部２５において、統計処理部３５で取得した人物ごとのヒストグラムを、行動パターン情報保持部２６に保持された行動パターンごとの基準ヒストグラムと比較して、両者の類似度を求め、その類似度に基づいて、アクセス動作が所定の行動パターンに該当するか否かを判定する。
ここで、単にアクセス動作の主体が店員および顧客のいずれであるかを判定する場合には、店員の行動パターンに関する基準ヒストグラムを作成しておき、判定対象となる人物のヒストグラムと基準ヒストグラムとの間の類似度を求め、その類似度を所定のしきい値と比較して、類似度がしきい値以上となる場合には、アクセス動作が店員の行動パターンに該当するものと判断すればよい。
このとき、商品管理作業の作業項目ごとの基準ヒストグラムを作成しておき、判定対象となる人物のヒストグラムと、作業項目ごとの基準ヒストグラムとの間の類似度を求め、いずれかの作業項目で類似度がしきい値以上となると、アクセス動作が店員の行動パターンに該当するものと判断するようにしてもよい。
また、アクセス動作がどの作業項目の行動パターンに該当するか、すなわち店員がどの作業項目を実施したかを判定することもできる。この場合、判定対象となる人物のヒストグラムと、作業項目ごとの基準ヒストグラムとの間の類似度を求め、類似度が最も高くなる基準ヒストグラムの作業項目を、店員が実施した作業項目と判断する。
なお、本実施形態では、実測値に基づいて、行動パターンごとの基準ヒストグラムが予め作成されて、行動パターン情報保持部２６に保持される。行動パターンごとの基準ヒストグラムを作成するにあたっては、過去に収集した複数の人物ごとのアクセス回数に対して適宜な統計処理、例えば平均化や正規化を行うようにするとよい。
次に、図３に示した行動判定部２５で行われる別の処理について説明する。図９および図１０は、解析情報蓄積部２２に蓄積された滞留フレームデータの一例を示す説明図であり、図９（Ａ）、図９（Ｂ）および図１０にそれぞれ、店員が実施する作業がフェイスアップ、品出しおよび廃棄である場合を示す。
本実施形態では、行動判定部２５において、腕部動作状態（Arm Action）に基づいて、アクセス動作が、店員の商品管理作業に関する作業項目別の行動パターンのいずれに該当するかを判定する。
ここで、フェイスアップ（前陳）の場合には、陳列棚の奥にある商品を手前側に移動させる作業となり、手を伸ばして戻す動作を短い間隔で規則的に繰り返す。したがって、図９（Ａ）に示すように、伸び状態（STRETCH）および曲げ状態（BEND）の各継続時間が短くなる。
また、品出しの場合には、新しい商品を陳列棚に並べる作業に加えて、既に陳列棚に陳列されていた商品を並べ直す整理の作業も行われ、このとき、陳列棚に手を入れた状態で商品を並べ直すため、腕部を伸ばした状態が長く継続する。したがって、図９（Ｂ）に示すように、伸び状態の継続時間が長くなる。
また、廃棄の場合には、陳列棚に陳列された商品を手に取って、商品の消費期限を確認する作業となり、このとき、消費期限の確認に時間がかかるため、腕部を曲げた状態が長く継続する。したがって、図１０に示すように、曲げ状態の継続時間が長くなる。
このように、アクセス動作の特徴、特に、腕部動作状態（Arm Action）から取得することができる伸び状態および曲げ状態の継続時間に基づいて、アクセス動作が店員が実施した商品管理作業であることを判定することができ、また、店員が実施した商品管理作業の作業項目を判定することができる。なお、この腕部動作状態に基づく判定と、図８に示したヒストグラムに基づく判定との両方を組み合わせて、作業項目を判定するようにしてもよい。
次に、図３に示した分析情報生成部２７で行われる処理について説明する。図１１は、分析情報生成部２７で生成される分析情報の一例を示す説明図である。
本実施形態では、分析情報生成部２７において、行動判定部２５の判定結果、およびアクセス動作検出部２３の検出結果に基づいて、単位期間（時間帯）ごとのアクセス動作の発生状況に関する分析情報を生成する。特に、本実施形態では、アクセス位置判定部２４において、陳列エリア（陳列棚）内のアクセス位置（上段、中段および下段）を判定し、分析情報生成部２７において、陳列エリアの各位置別に単位期間ごとのアクセス回数を求めて、分析情報として、陳列エリアの各位置（陳列棚の上段、中段および下段）別にアクセス回数の時間的な推移状況を表すヒストグラムを生成する。
なお、図１１に示すヒストグラムは、１０時から１２時の時間帯における各計測期間（２０分間）のアクセス回数を表している。
以上のように、本実施形態では、画像解析部２１において、陳列エリアの周辺を撮影した撮影画像を解析して、陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得し、アクセス動作検出部２３において、画像解析部２１で取得した解析情報に基づいて、対象とする人物が陳列エリアに手を伸ばすアクセス動作を検出し、行動判定部２５において、アクセス動作検出部２３で検出されたアクセス動作の発生状況に基づいて、アクセス動作が所定の行動パターンに該当するか否かを判定し、分析情報生成部２７において、行動判定部２５の判定結果、およびアクセス動作検出部２３の検出結果に基づいて、行動パターンに該当するか否かに応じてアクセス動作を選別して、アクセス動作の発生状況に関する分析情報を生成するものとした。
これによると、人物の行動パターンに応じたアクセス動作の発生状況に関する分析情報を生成することができる。そして、店員および顧客の行動パターンに関する判定を行うようにすると、アクセス動作の主体が店員および顧客のいずれであるかを精度よく判別することができ、顧客の商品取得行動に関する分析情報を精度よく取得することができる。また、店員が実施する商品管理作業の作業項目について行動パターンに関する判定を行うようにすると、特定の作業項目に関する分析情報を精度よく取得することができる。
また、本実施形態では、行動判定部２５において、アクセス動作が店員の行動パターンに該当するか否かを判定し、分析情報生成部２７において、店員の行動パターンに該当するアクセス動作を排除して、分析情報を生成するものとした。これによると、分析情報が、顧客の商品取得行動を対象としたものとなるため、分析情報から商品に対する顧客の関心度をユーザが把握することができる。
また、本実施形態では、分析情報生成部２７において、所定の時間帯におけるアクセス動作をすべて店員の動作でないとみなして、分析情報を生成するものとした。これによると、顧客が多数来店するピーク時間帯や、作業スケジュールで別の作業の実施が規定された時間帯では、通常、店員は商品管理作業を行わないため、このような時間帯のアクセス動作は、行動パターンに関する判定を行うことなく、すべて顧客の動作とみなすことができるため、分析情報の生成処理を簡略化することができる。
さらに、店員が通常待機する場所（レジカウンターエリア内など）を撮影した撮影画像の解析により、所定数の人物が検出される場合には、店員が商品管理作業を行っていないと判定し、全てのアクセス動作が顧客によるものと判別してもよい。逆に、通常待機する場所に、所定数未満の人物しか検出されない場合には、アクセス動作の主体に店員と顧客とが混在するものと判定し、顧客と店員のそれぞれに対する分析情報の生成処理を行うようにしてもよい。これによると、店員が商品管理作業を行っているか否かを把握することができ、すべてが顧客の動作か否かを判別できるため、分析情報の生成処理を効率的に行うことができる。
また、本実施形態では、行動パターンは、品出し、廃棄、およびフェイスアップの少なくとも１つの作業項目に関するものであるものとした。これによると、陳列エリアで店員が実施する商品管理作業は、主に品出し、廃棄およびフェイスアップのいずれかの作業項目となるため、これらの作業項目に関する行動パターンを判定することで、アクセス動作の主体が店員であるか否かを精度よく判定することができる。また、店員が実施する商品管理作業の各作業項目の行動パターンに関する判定を行う場合には、店員が実施した作業が、品出し、廃棄およびフェイスアップのいずれであるかを特定することができる。
また、本実施形態では、行動判定部２５において、アクセス動作が店員の行動パターンに該当するか否かを判定し、分析情報生成部２７において、店員の行動パターンに該当するアクセス動作に限定して、分析情報を生成するものとした。これによると、分析情報が、店員の商品管理作業を対象としたものとなるため、分析情報から店員による作業の実施状況をユーザが把握することができる。
また、本実施形態では、行動判定部２５において、店員が実施する商品管理作業の作業項目について行動パターンに関する判定を行い、分析情報生成部２７において、分析情報として、作業項目における作業の実施状況に関する情報を生成するものとした。これによると、所定の作業項目における作業の実施状況をユーザが把握することができる。
また、本実施形態では、行動判定部２５において、人物が陳列エリアの手前に滞在する１回の滞在期間におけるアクセス動作の回数に基づいて、行動パターンに関する判定を行うものとした。これによると、アクセス動作の回数（アクセス回数）に注目することで、行動パターンを簡便にかつ精度良く判定することができる。例えば、顧客の場合にはアクセス回数が少なくなるが、店員の場合にはアクセス回数が多くなるため、アクセス回数により顧客の行動パターンと店員の行動パターンとを判別することができる。
また、本実施形態では、アクセス位置判定部２４において、画像解析部２１で取得した解析情報に基づいて、陳列エリアにおけるアクセス動作の対象となるアクセス位置を判定し、行動判定部２５において、アクセス位置判定部２４の判定結果に基づいて、アクセス位置ごとのアクセス動作の回数を表すヒストグラムを生成して、このヒストグラムに基づいて行動パターンを判定するものとした。これによると、アクセス位置ごとのアクセス動作の回数に注目することで、行動パターンを簡便にかつ精度良く判定することができる。例えば、顧客の場合には、陳列エリアの一部にしか手を伸ばさないが、店員の場合には、陳列エリアの全体に満遍なく手を伸ばすため、アクセス位置ごとのアクセス回数を表すヒストグラムを生成することで、行動パターンを精度良く判定することができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る人物行動分析装置、人物行動分析システムおよび人物行動分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、前記の実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。
また、前記の実施形態では、画像解析部２１をＰＣ３に設けた例について説明したが、この画像解析部２１の全部または一部をカメラ１に設ける構成も可能である。また、画像解析部２１の全部または一部を専用の装置で構成することも可能である。
また、前記の実施形態では、人物行動分析に必要な処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で人物行動分析システムが構成される。
特に、クラウドコンピュータ１２を含むシステム構成では、店舗や本部に設けられたＰＣ３，１１の他に、クラウドコンピュータ１２にネットワーク接続されたスマートフォン１３やタブレット端末１４などの携帯型端末で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で必要な情報を確認することができる。
また、前記の実施形態では、カメラ１による撮影画像を蓄積するレコーダ２を店舗に設置するようにしたが、人物行動分析に必要な処理を、本部に設置されたＰＣ１１やクラウドコンピュータ１２に行わせる場合には、カメラ１による撮影画像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置にカメラ１による撮影画像を蓄積するようにしてもよい。
本発明に係る人物行動分析装置、人物行動分析システムおよび人物行動分析方法は、陳列エリアに手を伸ばす動作の主体が店員および顧客のいずれであるかを判別して、顧客の商品取得行動に関する分析情報を精度良く取得することができる効果を有し、陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析装置、人物行動分析システムおよび人物行動分析方法などとして有用である。
１ カメラ
２ レコーダ
３ ＰＣ
１１ ＰＣ
１２ クラウドコンピュータ
１３ スマートフォン
１４ タブレット端末
２１ 画像解析部
２２ 解析情報蓄積部
２３ アクセス動作検出部
２４ アクセス位置判定部
２５ 行動判定部
２６ 行動パターン情報保持部
２７ 分析情報生成部
２８ 分析対象設定部
３１ 人物検出部
３２ 基幹部姿勢検出部
３３ 腕部姿勢検出部
３４ 腕部動作状態判定部
３５ 統計処理部

Claims (8)

  1. 陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析装置であって、
    前記陳列エリアの周辺を撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する画像解析部と、
    この画像解析部で取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出するアクセス動作検出部と、
    このアクセス動作検出部で検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する行動判定部と、
    この行動判定部の判定結果、および前記アクセス動作検出部の検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する分析情報生成部と、を備え、
    前記行動判定部は、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、
    前記分析情報生成部は、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成することを特徴とする人物行動分析装置。
  2. 前記分析情報生成部は、所定の時間帯における前記アクセス動作をすべて店員の動作でないとみなして、前記分析情報を生成することを特徴とする請求項１に記載の人物行動分析装置。
  3. 前記分析情報生成部は、店員が通常待機する場所を撮影した撮影画像に基づいて、店員の人数を検出して、前記分析情報を生成することを特徴とする請求項１または請求項２に記載の人物行動分析装置。
  4. 前記行動パターンは、品出し、廃棄、およびフェイスアップの少なくとも１つの作業項目に関するものであることを特徴とする請求項１から請求項３のいずれかに記載の人物行動分析装置。
  5. 前記行動判定部は、人物が前記陳列エリアの手前に滞在する１回の滞在期間における前記アクセス動作の回数に基づいて、前記行動パターンに関する判定を行うことを特徴とする請求項１から請求項４のいずれかに記載の人物行動分析装置。
  6. さらに、前記画像解析部で取得した前記解析情報に基づいて、前記陳列エリアにおける前記アクセス動作の対象となるアクセス位置を判定するアクセス位置判定部を備え、
    前記行動判定部は、前記アクセス位置判定部の判定結果に基づいて、前記アクセス位置ごとの前記アクセス動作の回数を表すヒストグラムを生成して、このヒストグラムに基づいて前記行動パターンを判定することを特徴とする請求項５に記載の人物行動分析装置。
  7. 陳列エリアに配置された商品を手に取る人物の行動に関する分析を行う人物行動分析システムであって、
    前記陳列エリアの周辺を撮影するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラにより撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する画像解析部と、
    この画像解析部で取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出するアクセス動作検出部と、
    このアクセス動作検出部で検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する行動判定部と、
    この行動判定部の判定結果、および前記アクセス動作検出部の検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する分析情報生成部と、を備え、
    前記行動判定部は、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、
    前記分析情報生成部は、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成することを特徴とする人物行動分析システム。
  8. 陳列エリアに配置された商品を手に取る人物の行動に関する分析処理を情報処理装置に行わせる人物行動分析方法であって、
    前記陳列エリアの周辺を撮影した撮影画像を解析して、前記陳列エリアの手前に滞留する人物を検出するとともに、その人物の身体の状態に関する解析情報を取得する第１のステップと、
    この第１のステップで取得した前記解析情報に基づいて、対象とする人物が前記陳列エリアに手を伸ばすアクセス動作を検出する第２のステップと、
    この第２のステップで検出された前記アクセス動作の発生状況に基づいて、前記アクセス動作が所定の行動パターンに該当するか否かを判定する第３のステップと、
    この第３のステップでの判定結果、および前記第２のステップでの検出結果に基づいて、前記行動パターンに該当するか否かに応じて前記アクセス動作を選別して、前記アクセス動作の発生状況に関する分析情報を生成する第４のステップと、を備え、
    前記第３のステップにより、前記アクセス動作が店員の前記行動パターンに該当するか否かを判定し、
    前記第４のステップにより、店員の前記行動パターンに該当する前記アクセス動作を排除して、前記分析情報を生成することを特徴とする人物行動分析方法。
JP2015112241A 2015-06-02 2015-06-02 人物行動分析装置、人物行動分析システムおよび人物行動分析方法 Active JP6145850B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015112241A JP6145850B2 (ja) 2015-06-02 2015-06-02 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
US15/573,989 US20180293598A1 (en) 2015-06-02 2016-03-22 Personal behavior analysis device, personal behavior analysis system, and personal behavior analysis method
PCT/JP2016/001626 WO2016194274A1 (ja) 2015-06-02 2016-03-22 人物行動分析装置、人物行動分析システムおよび人物行動分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015112241A JP6145850B2 (ja) 2015-06-02 2015-06-02 人物行動分析装置、人物行動分析システムおよび人物行動分析方法

Publications (2)

Publication Number Publication Date
JP2016224800A JP2016224800A (ja) 2016-12-28
JP6145850B2 true JP6145850B2 (ja) 2017-06-14

Family

ID=57440600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015112241A Active JP6145850B2 (ja) 2015-06-02 2015-06-02 人物行動分析装置、人物行動分析システムおよび人物行動分析方法

Country Status (3)

Country Link
US (1) US20180293598A1 (ja)
JP (1) JP6145850B2 (ja)
WO (1) WO2016194274A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
JP7210890B2 (ja) * 2018-03-29 2023-01-24 株式会社リコー 行動認識装置、行動認識方法、そのプログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP7250443B2 (ja) * 2018-06-19 2023-04-03 東芝テック株式会社 画像処理装置
KR102077805B1 (ko) * 2018-11-26 2020-02-14 (주)에이텐시스템 다중 센서를 이용한 구매 행동 패턴 분석 장치 및 이의 동작방법
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統
US20230063863A1 (en) * 2020-03-17 2023-03-02 Nec Corporation Item management apparatus, item management method, and recording medium
JP2022189266A (ja) * 2021-06-11 2022-12-22 パナソニックＩｐマネジメント株式会社 店舗運営支援装置および店舗運営支援方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5097187B2 (ja) * 2009-10-14 2012-12-12 技研トラステム株式会社 店員顧客分離集計装置
JP5356615B1 (ja) * 2013-02-01 2013-12-04 パナソニック株式会社 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法
US20160203499A1 (en) * 2013-09-06 2016-07-14 Nec Corporation Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
JP5673888B1 (ja) * 2014-10-20 2015-02-18 富士ゼロックス株式会社 情報通知プログラム及び情報処理装置

Also Published As

Publication number Publication date
US20180293598A1 (en) 2018-10-11
JP2016224800A (ja) 2016-12-28
WO2016194274A1 (ja) 2016-12-08

Similar Documents

Publication Publication Date Title
JP6145850B2 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
US10387897B2 (en) Retail sales opportunity loss cause analysis based on image analysis of shelf display
JP5632512B1 (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
TWI778030B (zh) 店鋪裝置、店鋪管理方法及程式
JP2011253344A (ja) 購買行動分析装置、購買行動分析方法、およびプログラム
TWI793719B (zh) 店鋪裝置、店鋪系統、店鋪管理方法及程式
JP4991440B2 (ja) 商品販売装置、商品販売管理システム、商品販売管理方法およびプログラム
JP2009048430A (ja) 顧客動作分析装置、顧客動作判定システム、及び顧客購買行動分析システム
CN110033298A (zh) 信息处理设备及其控制方法、***和存储介质
JP6648508B2 (ja) 購買行動分析プログラム、購買行動分析方法、及び購買行動分析装置
JP2005309951A (ja) 販売促進支援システム
JP6565639B2 (ja) 情報表示プログラム、情報表示方法、及び情報表示装置
WO2019124176A1 (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム記録媒体
JP2015090579A (ja) 行動分析システム
WO2010053192A1 (ja) 行動分析装置及び行動分析方法並びに記録媒体
US20200202553A1 (en) Information processing apparatus
JP2010009444A (ja) 商品関心度計測装置
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
JP2009151409A (ja) マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム
JP6662141B2 (ja) 情報処理装置及びプログラム
JP6978399B2 (ja) 機会損失管理装置、機会損失管理システム、機会損失管理方法、及び、機会損失管理プログラム
JP6912791B2 (ja) 販売分析装置、販売管理システム、販売分析方法、及びプログラム
US20240211976A1 (en) Store operation support device, and store operation support method
WO2023148856A1 (ja) 購買分析装置、購買分析方法、及び非一時的なコンピュータ可読媒体
JP2023046892A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170426

R151 Written notification of patent or utility model registration

Ref document number: 6145850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151