JP5834249B2 - 人物移動分析装置、人物移動分析システムおよび人物移動分析方法 - Google Patents

人物移動分析装置、人物移動分析システムおよび人物移動分析方法 Download PDF

Info

Publication number
JP5834249B2
JP5834249B2 JP2013239863A JP2013239863A JP5834249B2 JP 5834249 B2 JP5834249 B2 JP 5834249B2 JP 2013239863 A JP2013239863 A JP 2013239863A JP 2013239863 A JP2013239863 A JP 2013239863A JP 5834249 B2 JP5834249 B2 JP 5834249B2
Authority
JP
Japan
Prior art keywords
movement
person
area
measurement
measurement area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013239863A
Other languages
English (en)
Other versions
JP2015099539A (ja
Inventor
岩井　和彦
和彦 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013239863A priority Critical patent/JP5834249B2/ja
Priority to EP14863838.0A priority patent/EP3073436A4/en
Priority to CN201480073255.9A priority patent/CN106415649A/zh
Priority to US15/037,150 priority patent/US10121160B2/en
Priority to PCT/JP2014/005462 priority patent/WO2015075870A1/ja
Publication of JP2015099539A publication Critical patent/JP2015099539A/ja
Application granted granted Critical
Publication of JP5834249B2 publication Critical patent/JP5834249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)

Description

本発明は、監視エリアを撮影した映像に基づいて、監視エリア内での人物の移動状況を分析する人物移動分析装置、人物移動分析システムおよび人物移動分析方法に関するものである。
コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、このカメラの映像を利用して、店舗内での人物の移動状況を把握することができるようにすると、この人物の移動状況に基づいて、店舗内での商品の陳列方法の改善策などを考えることで、店舗の売上や利益の向上を図ることができる。
このような店舗内での顧客の移動状況の分析に関連するものとして、従来、監視エリアを撮影するカメラの映像上に検出ラインを設定して、その検出ラインを横切る人物をカウントする技術が知られている（特許文献１参照）。この技術では、所定の画角を有するカメラ、いわゆるボックスカメラで監視エリアを斜めから撮像した映像の場合に、誤カウントが発生する問題に対して、人物の移動方向を考慮してカウントを行うことで、計測精度を高めるようにしている。
特開２００５−１４８８６３号公報
しかしながら、前記従来の技術では、検出ラインを通過する人物の人数を精度よく計測することができるが、検出ラインを横切る人物の人数だけでは、店舗内での顧客の移動状況、特に通路が交差する交差点などの要所での顧客の移動状況を店舗管理者などのユーザが容易に把握することができないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視エリア内の要所での人物の移動状況を店舗管理者などのユーザが容易に把握することができるように構成された人物移動分析装置、人物移動分析システムおよび人物移動分析方法を提供することにある。
本発明の人物移動分析装置は、監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する人物移動分析装置であって、前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する計測条件設定部と、前記映像から検出された人物ごとの動線情報を取得する動線取得部と、この動線取得部により取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する移動人物検知部と、この移動人物検知部での検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する出力情報生成部と、を備え、前記計測条件設定部にて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする。
また、本発明の人物移動分析システムは、監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する人物移動分析システムであって、前記監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する計測条件設定部と、前記映像から検出された人物ごとの動線情報を取得する動線取得部と、この動線取得部により取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する移動人物検知部と、この移動人物検知部での検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する出力情報生成部と、を備え、前記計測条件設定部にて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする。
また、本発明の人物移動分析方法は、監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する処理を情報処理装置に行わせる人物移動分析方法であって、前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する第１のステップと、前記映像から検出された人物ごとの動線情報を取得する第２のステップと、この第２のステップにより取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する第３のステップと、この第３のステップでの検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する第４のステップと、を有し、前記第１のステップにて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする。
本発明によれば、計測エリアに対する移動元および移動先の少なくとも一方により規定される移動パターン別に人物の移動状況を表す出力情報が出力されるため、店舗などの監視エリア内の要所、例えば通路の交差点などに計測エリアを設定することで、監視エリア内の要所での人物の移動状況を店舗管理者などのユーザが容易に把握することができる。とりわけ、ユーザは計測エリアでの移動元や移動先を指定する際に、監視エリア全体を対象にして予め設定された基準となる複数の方向の中から選択するだけで済むため、移動元および移動先を指定する操作を容易にすることができる。
本実施形態に係る人物移動分析システムの全体構成図 店舗のレイアウト、カメラ１の設置状況、および人物（顧客）の移動状況を説明する店舗の平面図 ＰＣ３で行われる人物移動分析処理の概要を説明する説明図 人物移動分析処理で行われる移動人物検知処理の概要を説明する説明図 ＰＣ３の概略構成を示す機能ブロック図 図５に示したモニタ４に表示される計測条件入力画面を示す説明図 図５に示したモニタ４に表示される分析結果出力画面を示す説明図 移動元および移動先の双方の組み合わせにより規定される移動パターンの一例を示す説明図 図５に示したモニタ４に表示される分析結果出力画面の要部を示す説明図
前記課題を解決するためになされた第１の発明は、監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する人物移動分析装置であって、前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する計測条件設定部と、前記映像から検出された人物ごとの動線情報を取得する動線取得部と、この動線取得部により取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する移動人物検知部と、この移動人物検知部での検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する出力情報生成部と、を備え、前記計測条件設定部にて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする。
これによると、計測エリアに対する移動元および移動先の少なくとも一方により規定される移動パターン別に人物の移動状況を表す出力情報が出力されるため、店舗などの監視エリア内の要所、例えば通路の交差点などに計測エリアを設定することで、監視エリア内の要所での人物の移動状況を店舗管理者などのユーザが容易に把握することができる。とりわけ、ユーザは計測エリアでの移動元や移動先を指定する際に、監視エリア全体を対象にして予め設定された基準となる複数の方向の中から選択するだけで済むため、移動元および移動先を指定する操作を容易にすることができる。
また、第２の発明は、前記移動人物検知部による検知結果を所定の集計期間単位で集計して、前記移動パターン別の人数を前記集計期間ごとに取得する集計処理部をさらに備え、前記出力情報生成部は、前記集計処理部により取得した前記集計期間ごとの移動パターン別の人数に関する前記出力情報を生成する構成とする。
これによると、集計期間ごとの移動パターン別の人数をユーザが把握することができる。そして、この集計期間ごとの移動パターン別の人数を時系列で並べて表示するようにすることで、移動パターン別の人数の時間的な変動状況をユーザが把握することができる。
また、第３の発明は、前記計測条件設定部は、ユーザの入力操作に応じて、前記監視エリア内に複数の前記計測エリアを設定し、前記移動人物検知部は、前記計測エリアの各々において前記移動パターンに該当する人物を検知し、前記出力情報生成部は、前記計測エリアの各々における前記移動パターン別の人物の移動状況を表す出力情報を生成する構成とする。
これによると、監視エリア内に複数存在する要所ごとに計測エリアを設定することができたるめ、監視エリア内の要所ごとに人物の移動状況をユーザが把握することができる。
また、第４の発明は、前記計測条件設定部は、ユーザの入力操作に応じて、前記移動元および移動先の双方を設定し、前記移動人物検知部は、前記移動元および移動先の双方の組み合わせにより規定される移動パターン別に人物を検知する構成とする。
これによると、計測エリアの前後を含めてどのようなルートで人物が計測エリアを通過したかをユーザが把握することができることから、計測エリアを通過する際の人物の移動状況を詳細にユーザが把握することができる。
また、第５の発明は、前記出力情報生成部は、前記出力情報として、前記移動パターン別の人物の移動状況を並べて表示する表示情報を生成する構成とする。
これによると、人物の移動状況の移動パターンによる違いをユーザが一目で把握することができる。
また、第６の発明は、前記移動人物検知部は、前記移動元および移動先のいずれか一方により規定される移動パターン別に人物を検知し、前記出力情報生成部は、前記出力情報として、前記移動パターン別の人数をレーダーチャートで表示する表示情報を生成する構成とする。
これによると、移動元または移動先により規定される移動パターンごとの人数をユーザが一目で把握することができる。すなわち、計測エリアからどの方向にどれだけの人数の人物が移動したか、あるいはどの方向からどれだけの人数の人物が計測エリアに入ったかをユーザが一目で把握することができる。
また、第７の発明は、前記映像が、全方位カメラにより撮影されたものである構成とする。
これによると、全方位カメラでは広範囲の撮影が可能になるため、カメラの設置台数が少なくて済む。また、全方位カメラを天井に設置することで、映像上で計測エリアの位置を明確に設定することができ、また、計測エリアに対する人物の動線の通過状況が明確になるため、分析精度を高めることができる。
また、第８の発明は、前記計測エリアは、全ての頂点が前記歩行不能領域に接するとともに、少なくとも２つの辺が前記歩行可能領域を横切るように設定される構成とする。
これによると、歩行可能領域を通る人物を漏れなく検知することができるため、人物の移動状況をユーザが的確に把握することができる。また、ユーザは計測エリアを指定する際に頂点の位置を入力するだけで済むため、計測エリアを指定する操作が容易になる。
また、第９の発明は、前記計測エリアは、前記歩行可能領域が十字路となる場合に、４つの頂点が前記歩行不能領域の角点上に位置するように設定される構成とする。
これによると、十字路を通る人物を漏れなく検知して、十字路における人物の移動状況を的確にユーザが把握することができる。
また、第１０の発明は、前記計測エリアは、前記歩行可能領域がＴ字路となる場合に、１つの辺が前記歩行不能領域に接するとともに、２つの頂点が前記歩行不能領域の角点上に位置するように設定される構成とする。
これによると、Ｔ字路を通る人物を漏れなく検知して、Ｔ字路における人物の移動状況を的確にユーザが把握することができる。
また、第１１の発明は、監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する人物移動分析システムであって、前記監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する計測条件設定部と、前記映像から検出された人物ごとの動線情報を取得する動線取得部と、この動線取得部により取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する移動人物検知部と、この移動人物検知部での検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する出力情報生成部と、を備え、前記計測条件設定部にて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする。
これによると、第１の発明と同様に、監視エリア内の要所での人物の移動状況を店舗管理者などのユーザが容易に把握することができる。
また、第１２の発明は、監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する処理を情報処理装置に行わせる人物移動分析方法であって、前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する第１のステップと、前記映像から検出された人物ごとの動線情報を取得する第２のステップと、この第２のステップにより取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する第３のステップと、この第３のステップでの検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する第４のステップと、を有し、前記第１のステップにて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする。
これによると、第１の発明と同様に、監視エリア内の要所での人物の移動状況を店舗管理者などのユーザが容易に把握することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係る人物移動分析システムの全体構成図である。この人物行動分析システムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ（撮像装置）１、レコーダ（画像記録装置）２、ＰＣ（人物移動分析装置）３、およびモニタ（表示装置）４と、複数の店舗を総括する本部に設けられたＰＣ１１、およびモニタ１２と、を備えている。
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた画像情報がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ１１では、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
店舗に設置されたＰＣ３は、店舗内での人物の移動状況に関する分析を行う人物移動分析装置として構成される。また、この店舗に設置されたＰＣ３で生成した分析結果情報は、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ７でも閲覧することができ、ＰＣ３，１１が分析結果情報を閲覧する閲覧装置として構成される。
次に、コンビニエンスストアを例にして店舗のレイアウト、カメラ１の設置状況、および顧客の移動状況について説明する。図２は、店舗のレイアウト、カメラ１の設置状況、および人物（顧客）の移動状況を説明する店舗の平面図である。
店舗には、出入口と、陳列棚と、レジカウンタと、が設けられている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで代金の支払いを済ませた後に退店する。
また、店舗には、監視エリア（店舗内）を撮像する複数のカメラ１が設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１が、陳列棚の中心の真上の天井に設置されており、これにより、通路を通って店舗内を移動する人物を撮像することができる。
次に、図１に示したＰＣ３で行われる人物移動分析処理の概要について説明する。図３は、ＰＣ３で行われる人物移動分析処理の概要を説明する説明図である。図４は、人物移動分析処理で行われる移動人物検知処理の概要を説明する説明図である。
ＰＣ３では、監視エリアを撮影するカメラ１の映像に基づいて、監視エリア内での人物の移動状況を分析する人物移動分析処理が行われる。特に本実施形態では、図２に示したように、陳列棚やレジカウンタが設置された領域を歩行不能領域として、監視エリアから歩行不能領域を除いた歩行可能領域に計測エリアが設定され、この計測エリアを通過する際の移動パターンごとに人物を検知して、その移動パターンごとの人数を計測する。
ここで、本実施形態では、計測エリアに進入する直前に人物が存在する通路を移動元とし、計測エリアから退出した直後に人物が存在する通路を移動先として、計測エリアに対する移動元および移動先により移動パターンを規定し、その移動パターンに該当する人物を検知して、移動パターンごとの人数を計測する。
特に本実施形態では、監視エリア全体を対象にして基準となる４つの方向Ａ，Ｂ，Ｃ，Ｄが予め設定されており、この基準となる方向Ａ，Ｂ，Ｃ，Ｄに基づいて、複数の計測エリアの各々における移動元および移動先が設定される。すなわち、計測エリアに対する移動元および移動先の相対的な位置関係が、基準となる方向Ａ，Ｂ，Ｃ，Ｄで規定される。例えば、図４に示すように、計測エリアを人物が移動する場合、計測エリアに対する移動元が方向Ａとなり、移動先が方向Ｂとなる。
なお、基準となる４つの方向Ａ，Ｂ，Ｃ，Ｄは、監視エリアとなる店舗内に設けられた通路の方向と略平行となるように設定するとよく、店舗内では通常、通路が直交するように設けられるため、基準となる４つの方向Ａ，Ｂ，Ｃ，Ｄは、隣り合うもの同士のなす角度が略９０度となるように設定される。
また、移動パターンに該当する人物を検知する際には、計測エリアに対する人物の移動元および移動先に面した計測エリアの各辺Ｓ１，Ｓ２，Ｓ３，Ｓ４と、人物が移動する経路を表す動線との交差状況に基づいて判定を行う。例えば、計測エリアに対する移動元を方向Ａとし、移動先を方向Ｂとした移動パターンでは、辺Ｓ１，Ｓ２と動線との交差状況に基づいて判定を行い、計測エリアに入る際に動線が辺Ｓ１と交差し、かつ計測エリアから出る際に動線が辺Ｓ２と交差する場合に、移動パターンに該当するものと判定する。なお、動線は人物の検出位置を時系列で連結することで生成される。
また、図２に示した例では、１本の通路Ｐ１の途中に第１の計測エリアＭＡ１が設定され、４本の通路Ｐ３〜Ｐ６が集まる十字路の交差点に第２の計測エリアＭＡ２が設定され、３本の通路Ｐ６〜Ｐ８が集まるＴ字路の交差点に第３の計測エリアＭＡ３が設定され、２本の通路Ｐ８，Ｐ１０が直角に繋がるＬ字路に第４の計測エリアＭＡ４が設定されている。
第１の計測エリアＭＡ１や第４の計測エリアＭＡ４のように交差点でない位置に計測エリアを設定することで、特定の陳列棚の前を通った人物の人数を計測することができる。また、第２の計測エリアＭＡ２や第３の計測エリアＭＡ３のように交差点に計測エリアを設定することで、交差点を通過する際の移動パターン別の人数を計測することができる。これにより、どのようなルートでどれだけの人数の人物が交差点を通過したかをユーザが把握することができる。
ここで、本実施形態では、計測エリアが、矩形をなし、全ての頂点が歩行不能領域に接するとともに、少なくとも２つの辺が歩行可能領域を横切るように設定される。計測エリアの各辺は、基準となる方向Ａ，Ｂ，Ｃ，Ｄに対して直交する方向に配置される。
図２に示した第１の計測エリアＭＡ１は、図３（Ａ）に示すように、互いに対向する２つの辺が歩行不能領域に接する、すなわち歩行不能領域の境界線上に位置するように設定される。これにより、通路Ｐ１を通る人物を漏れなくカウントすることができる。この第１の計測エリアＭＡ１では、移動元および移動先は方向Ｂ，Ｄのいずれかとなる。ここで、例えば、移動元を方向Ｄとし、移動先を方向Ｂとすると、通路Ｐ１を右方向に進んだ人物をカウントする。
図２に示した第２の計測エリアＭＡ２は、図３（Ｂ）に示すように、４つの頂点が歩行不能領域の角点上に位置するように設定される。これにより、十字路の交差点を通る人物を漏れなくカウントすることができる。この第２の計測エリアＭＡ２では、移動元および移動先は方向Ａ，Ｂ，Ｃ，Ｄのいずれも可能である。ここで、例えば、移動元を方向Ａとし、移動先を方向Ｂとすると、通路Ｐ３から十字路の交差点を通って通路Ｐ５に進んだ人物をカウントする。
図２に示した第３の計測エリアＭＡ３では、図３（Ｃ）に示すように、１つの辺が歩行不能領域に接する、すなわち歩行不能領域の境界線上に位置し、２つの頂点が歩行不能領域の角点上に位置するように設定される。これにより、Ｔ字路の交差点を通る人物を漏れなくカウントすることができる。この第３の計測エリアＭＡ３では、移動元および移動先は方向Ａ，Ｂ，Ｄのいずれかとなる。ここで、例えば、移動元を方向Ａとし、移動先を方向Ｂとすると、通路Ｐ６から十字路の交差点を通って通路Ｐ８に進んだ人物をカウントする。
図２に示した第４の計測エリアＭＡ４では、図３（Ｄ）に示すように、互いに隣り合う２つの辺が歩行不能領域に接する、すなわち歩行不能領域の境界線上に位置し、１つの頂点が歩行不能領域の角点上に位置するように設定される。これにより、Ｌ字路を通る人物を漏れなくカウントすることができる。この第４の計測エリアＭＡ４では、移動元および移動先は方向Ａ，Ｄのいずれかとなる。ここで、例えば、移動元を方向Ａとし、移動先を方向Ｄとすると、通路Ｐ１０からＬ字路を通って通路Ｐ８に進んだ人物をカウントする。
なお、Ｌ字路に限らないが、人物が一旦、計測エリアに入って引き返す場合には、移動元と移動先を同じ方向に設定すればよい。このような移動元と移動先を同じ方向にあるとき、歩行する人物の興味ポイントが過去に存在していたことなどを把握することができる。
次に、図１に示したＰＣ３で行われる処理を機能ブロック図に基づいて説明する。図５は、ＰＣ３の概略構成を示す機能ブロック図である。
ＰＣ３は、監視部３１と、人物移動分析部３２と、を備えている。監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の画像を閲覧することができる。
人物移動分析部３２は、監視エリアを撮影した映像に基づいて、監視エリア内での人物の移動状況を分析する人物移動分析処理を行うものであり、計測条件設定部３３と、動線取得部３４と、移動人物検知部３５と、集計処理部３６と、ＧＵＩ制御部３７と、を備えている。
計測条件設定部３３では、監視エリアから歩行不能領域を除いた歩行可能領域に計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先を指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、計測エリアならびに移動元および移動先を計測条件として設定する処理が行われる。
動線取得部３４では、カメラ１の映像から検出された人物ごとの動線情報を取得する処理が行われる。この動線取得処理では、映像のフレームから人物の位置を検出する人物追跡処理により得られた検出時刻（撮像時刻）ごとの人物の検出位置を時系列で連結することで動線を生成する。
なお、本実施形態では、移動人物検知部３５において計測エリアの辺（境界線）と動線との交差状況を判定するため、少なくとも計測エリアの内部および周辺部における動線情報を取得する。また、計測エリアの辺と動線との交差状況の判定では、計測エリアの辺と動線との交点を求める必要はなく、時系列で並んだ検出位置の情報のみで判定を行うことも可能である。このため、動線取得部３４で取得する動線情報には、検出位置を連結する線分（ベクトル）情報は必ずしも必要ではない。
また、人物追跡処理は、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。また、人物追跡処理は、動線取得部３４で行うことも可能であるが、ＰＣ３とは別に設けられた人物追跡装置で行うようにしたり、人物追跡機能をカメラ１に一体化した追跡機能付き撮像装置で行うようにしたりしてもよい。また、人物の検出位置を時系列で連結して動線を生成する動線生成処理をＰＣ３とは別の人物追跡装置などに行わせて、ここで生成した動線に関する情報を動線取得部３４が取得するようにしてもよい。
移動人物検知部３５では、動線取得部３４により取得した動線情報に基づき、計測エリアの各々において移動元および移動先により規定される移動パターンに該当する人物を検知する処理が行われる。この通過人物検知処理では、計測エリアの辺（境界線）と動線との交差状況、およびに動線が計測エリアの境界線と交差する際の進行方向に基づいて、移動パターンの判定が行われる。
特に本実施形態では、移動元および移動先の双方の組み合わせにより規定される移動パターンにより移動人物検知が行われる。このとき、移動元の方向にある計測エリアの辺と動線が交差するとともに、そのときの進行方向が計測エリアの外側から内側となり、かつ移動先の方向にある計測エリアの辺と動線が交差するとともに、そのときの進行方向が計測エリアの内側から外側となる場合に、移動パターンに該当するものと判定する。
また、本実施形態では、移動元および移動先のいずれか一方により規定される移動パターンにより移動人物検知を行うこともできる。この場合、移動元により規定される移動パターンでは、移動元の方向にある計測エリアの辺と動線が交差するとともに、そのときの進行方向が計測エリアの外側から内側となる場合に、移動パターンに該当するものと判定する。一方、移動先により規定される移動パターンでは、移動先の方向にある計測エリアの辺と動線が交差するとともに、そのときの進行方向が計測エリアの内側から外側となる場合に、移動パターンに該当するものと判定する。
集計処理部３６では、移動人物検知部３５による検知結果を所定の集計期間（例えば１時間や１日）単位で集計して、移動パターン別の人数を集計期間ごとに取得する処理が行われる。特に本実施形態では、計測エリアが複数設定されるとともに、計測エリアごとに移動パターンが複数設定されるようになっており、集計処理部３６では、各計測エリアにおける移動パターンごとの人数を集計期間単位で集計する。
なお、動線取得部３４により取得した動線情報には、人物追跡処理での検出時刻（撮像時刻）が含まれており、この検出時刻から注目する人物が計測エリアに進入した時刻および退出した時刻を取得することができ、これらの時刻に基づいて集計期間単位の集計を行うことができる。
ＧＵＩ制御部３７は、モニタ４およびマウスなどの入力デバイス（入力部）６を用いたＧＵＩ（Graphical User Interface）により、ユーザの入力操作による入力情報を取得する処理、および人物の移動状況に関する分析結果を出力する処理を行うものであり、入力情報取得部３８と、画面生成部（出力情報生成部）３９と、を備えている。
画面生成部３９では、ユーザに計測条件を入力させる計測条件入力画面、および人物の移動状況に関する分析結果を表示する分析結果出力画面に関する表示情報を生成する処理が行われ、計測条件入力画面および分析結果出力画面がモニタ４に表示される。入力情報取得部３８では、モニタ４に表示させた計測条件入力画面上で入力デバイス６を用いてユーザが行った入力操作に応じて入力情報を取得する処理が行われる。この入力情報取得部３８で取得した入力情報に基づいて、計測条件設定部３３において計測条件を設定する処理が行われる。
なお、監視部３１および人物移動分析部３２は、ＰＣ３のＣＰＵで監視用および人物移動分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、計測エリアならびに移動元および移動先に関する計測条件の入力操作について説明する。図６は、図５に示したモニタ４に表示される計測条件入力画面を示す説明図である。
この計測条件入力画面は、計測条件として計測エリアならびに移動元および移動先をユーザが指定するものであり、この計測条件入力画面には、開始ボタン４１と、設定ボタン４２と、カメラ選択ボタン４３と、計測エリア入力部４４と、移動元・移動先入力部４５と、が設けられている。
開始ボタン４１は、人物移動分析部３２での人物移動分析処理を開始させるものである。設定ボタン４２は、計測エリア入力部４４および移動元・移動先入力部４５を表示させるものである。カメラ選択ボタン４３は、カメラ１を指定するものである。カメラ選択ボタン４３を操作すると、ホップアップでカメラ１を選択する画面が表示され、この画面でカメラ１を選択した上で、設定ボタン４２を操作すると、選択されたカメラ１の映像が計測エリア入力部４４に表示される。
計測エリア入力部４４は、カメラ１の映像を表示させて、その映像上で計測エリアをユーザに指定させるものである。計測エリアの指定は、マウスなどの入力デバイス６を用いて計測エリアの頂点を入力すればよい。例えば、入力デバイス６を用いて画面上のポインタを所望の位置に移動させ、確定する操作（例えばマウスのダブルクリック）で頂点の位置が入力される。このとき、ユーザは、目視により映像に映った陳列棚の像から歩行不能領域を判別し、この歩行不能領域を除いた歩行可能領域に計測エリアを指定する。計測エリアの指定が終了する、すなわち全ての頂点の位置が入力されると、計測エリアを表す矩形の画像が表示され、さらに計測エリア上に計測エリアの通し番号が表示される。
移動元・移動先入力部４５には、計測エリアの通し番号（Ｎｏ．）、計測エリアの名称、移動元および移動先の選択肢が表示されている。計測エリアの名称はキーボードなどの入力デバイス６を用いてユーザが入力する。
移動元および移動先の欄には、選択肢として、監視エリア全体を対象にして予め設定された基準となる４つの方向Ａ，Ｂ，Ｃ，Ｄが表示されており、マウスなどの入力デバイス６を用いて、Ａ，Ｂ，Ｃ，Ｄの４つの選択肢の中から移動元および移動先を選択する。このとき、ユーザは、計測エリアの周囲の歩行不能領域に基づいて、移動元および移動先に指定する方向Ａ，Ｂ，Ｃ，Ｄを選択する。
なお、図６に示した例では、図２に示した第１の計測エリアＭＡ１、第２の計測エリアＭＡ２、第３の計測エリアＭＡ３および第４の計測エリアＭＡ４について、移動元および移動先とすることが可能な方向を全て選択するようにしたが、各計測エリアにおいて人数を計測する必要があるもののみを選択するようにしてもよい。
また、図６に示した例では、１台のカメラ１による映像上で２つの計測エリアを指定しているが、残りの計測エリアについては、カメラ選択ボタン４３を操作して、カメラ１を切り替えることで、指定の操作を行うことができる。このとき、あるカメラ１で計測エリアが設定された後、他のカメラ１に指定済み計測エリアに相当する映像が現れる場合には、その計測エリアの指定が引き継がれるようにすると良い。
次に、図５に示した人物移動分析部３２での分析結果の出力について説明する。図７は、図５に示したモニタ４に表示される分析結果出力画面を示す説明図である。図８は、移動元および移動先の双方の組み合わせにより規定される移動パターンの一例を示す説明図である。
この分析結果出力画面は、人物移動分析部３２での分析結果、すなわち各計測エリアにおける集計期間ごとの人数を移動パターン別に出力するものであり、この分析結果出力画面には、表示ボタン５１と、ダウンロードボタン５２と、表示エリア選択部５３と、集計期間選択部５４と、日付表示部５５と、分析結果出力部５６と、が設けられている。
表示ボタン５１は、分析結果出力部５６に分析結果を表示させるものである。ダウンロードボタン５２は、分析結果のメタファイル、例えばＣＳＶ（comma-separated values）ファイルを入手するものである。これにより、人物移動分析処理を行うＰＣ３とは別の装置、例えば本部に設けられたＰＣ１１で分析結果出力画面を表示させた際に、そのＰＣ１１に分析結果を取り込んでユーザが分析結果を自由に編集することができる。
表示エリア選択部５３は、分析結果出力部５６に分析結果を表示させる計測エリアを選択するものである。この表示エリア選択部５３では、選択した計測エリアが反転表示される。図７に示した例では、第２の計測エリアＭＡ２、第３の計測エリアＭＡ３および第４の計測エリアＭＡ４が選択されている。
集計期間選択部５４は、集計期間を選択するものである。図７に示した例では、集計期間として、日、週および月を選択することができる。日を選択すると、分析結果出力部５６に表示されるグラフの横軸が時間帯となり、週を選択すると、グラフの横軸が曜日となり、月を選択すると、グラフの横軸が日付となる。この集計期間選択部５４で集計期間を選択すると、カレンダー画面がポップアップで表示され、このカレンダー画面で表示させる日、週、月を選択する。
日付表示部５５は、分析結果出力部５６に表示させた分析結果の日付を表示するものである。なお、この日付表示部５５に日付を直接入力して、分析結果出力部５６に分析結果を表示させる日付を指定することができるようにしてもよい。
分析結果出力部５６には、人物移動分析部３２での分析結果、すなわち各計測エリアにおける集計期間ごとの人数を時系列で繋いだグラフ（折れ線グラフ）が表示されている。このグラフの縦軸は人数である。また、図７に示した例では、集計期間が日に選択されているため、グラフの横軸が時間帯となっている。これにより、時間帯ごとの人数の変動状況をユーザが把握することができる。
また、分析結果出力部５６には、移動元および移動先の双方の組み合わせにより規定される移動パターンごとのグラフ表示欄５７ａ〜５７ｄが表示されている。
図７に示した例では、上から１番目のグラフ表示欄５７ａが、移動元をＡ方向とし、移動先をＢ方向とした移動パターンの場合である（図８（Ａ）参照）。上から２番目のグラフ表示欄５７ｂは、移動元をＡ方向とし、移動先をＣ方向とした移動パターンの場合である（図８（Ｂ）参照）。上から３番目のグラフ表示欄５７ｃは、移動元をＡ方向とし、移動先をＤ方向とした移動パターンの場合である（図８（Ｃ）参照）。上から４番目のグラフ表示欄５７ｄは、移動元をＢ方向とし、移動先をＡ方向とした移動パターンの場合である（図８（Ｄ）参照）。この他にも種々の移動パターンがあり、残りの移動パターンは、スクロールにより表示させることができる。
また、分析結果出力部５６の各グラフ表示欄５７ａ〜５７ｄでは、計測エリアごとのグラフが重ねて表示されている。図７に示した例では、選択された第２の計測エリアＭ２、第３の計測エリアＭ３および第４の計測エリアＭ４のグラフが重ねて表示されているが、移動パターンが成立しない計測エリアのグラフは表示されない。例えば、第３の計測エリアＭ３や第４の計測エリアＭ４では、移動元をＡ方向とし、移動先をＣ方向とした移動パターン（図８（Ｂ）参照）が成立しないため、上から２番目のグラフ表示欄５７ｂには、第２の計測エリアＭ２のグラフのみが表示され、第３の計測エリアＭ３や第４の計測エリアＭ４のグラフは表示されない。
このように、集計期間ごとの人数を表すグラフが移動パターン別に表示されるため、人数の時間的な変動状況の移動パターンによる違いを把握することができる。また、各移動パターンにおいて計測エリアごとのグラフが重ねて表示されるため、人数の時間的な変動状況の計測エリアによる違いを把握することができる。これにより、監視エリア内の計測エリアが設定された要所での人物の移動状況を多様な視点から把握することができる。
なお、図７に示した例では、計測エリアごとのグラフを識別しやすくするために、計測エリアごとのグラフを色の濃さを変えて表示するようにしたが、グラフの色合いを変える、例えば、赤、緑および青で表示するようにしてもよい。
また、図６及び図７に示した例では、ＰＣ３にＷｅｂサーバの機能が設けられ、計測条件入力画面および分析結果出力画面をＷｅｂブラウザで表示させるようにしている。このようにすると、人物移動分析処理を行うＰＣ３とは別の装置、例えば本部に設けられたＰＣ１１などの装置に導入された汎用的なＷｅｂブラウザで計測条件入力や分析結果出力の機能を実現することができる。
以上のように、本実施形態では、計測エリアに対する移動元および移動先の少なくとも一方により規定される移動パターン別に人物の移動状況を表す出力情報が出力されるため、店舗などの監視エリア内の要所、例えば通路の交差点などに計測エリアを設定することで、監視エリア内の要所での人物の移動状況を店舗管理者などのユーザが容易に把握することができる。
また、本実施形態では、移動人物検知処理の検知結果を所定の集計期間単位で集計して、移動パターン別の人数を集計期間ごとに取得して、その集計期間ごとの移動パターン別の人数に関する出力情報を生成するようにしたため、集計期間ごとの移動パターン別の人数をユーザが把握することができる。そして、この集計期間ごとの移動パターン別の人数を時系列で並べて表示するようにすることで、移動パターン別の人数の時間的な変動状況をユーザが把握することができる。
また、本実施形態では、監視エリア内に複数の計測エリアを設定して、それらの計測エリアの各々において移動パターンに該当する人物を検知して、計測エリアの各々における移動パターン別の人物の移動状況を表す出力情報を生成するようにしたため、監視エリア内に複数存在する要所ごとに計測エリアを設定することができることから、監視エリア内の要所ごとに人物の移動状況をユーザが把握することができる。
また、本実施形態では、複数の計測エリアの各々において、監視エリア全体を対象にして予め設定された基準となる複数の方向に基づいて、移動元および移動先を設定するようにしたため、複数の計測エリアで共通した方向に基づいて移動元および移動先が設定されることから、各計測エリアにおける人物の移動状況を簡単に比較することができる。また、ユーザは移動元および移動先を指定する際に、計測エリアの周辺の歩行不能領域に基づいて、基準となる複数の方向の中から選択するだけで済むため、移動元および移動先を指定する操作が容易になる。
また、本実施形態では、計測エリアに対する移動元および移動先の双方を設定して、その移動元および移動先の双方の組み合わせにより規定される移動パターン別に人物を検知するようにしたため、計測エリアの前後を含めてどのようなルートで人物が計測エリアを通過したかをユーザが把握することができることから、計測エリアを通過する際の人物の移動状況をユーザが詳細に把握することができる。
また、本実施形態では、移動パターン別の人物の移動状況を並べて表示するようにしたため、人物の移動状況の移動パターンによる違いをユーザが一目で把握することができる。
また、本実施形態では、映像が、全方位カメラにより撮影されたものであり、この全方位カメラでは広範囲の撮影が可能になるため、カメラの設置台数が少なくて済む。また、全方位カメラを天井に設置することで、映像上で計測エリアの位置を明確に設定することができ、また、計測エリアに対する人物の動線の通過状況が明確になるため、分析精度を高めることができる。
また、本実施形態では、計測エリアが、多角形をなし、全ての頂点が歩行不能領域に接するとともに、少なくとも２つの辺が歩行可能領域を横切るように設定されるようにしたため、歩行可能領域を通る人物を漏れなく検知することができ、人物の移動状況をユーザが的確に把握することができる。また、ユーザは計測エリアを指定する際に多角形の頂点の位置を入力するだけで済むため、計測エリアを指定する操作が容易になる。
また、本実施形態では、計測エリアが、矩形をなし、歩行可能領域が十字路となる場合に、４つの頂点が歩行不能領域の角点上に位置するように設定されるようにしたため、十字路を通る人物を漏れなく検知して、十字路における人物の移動状況を的確にユーザが把握することができる。また、本実施形態では、計測エリアが、矩形をなし、歩行可能領域がＴ字路となる場合に、１つの辺が歩行不能領域に接するとともに、２つの頂点が歩行不能領域の角点上に位置するように設定されるようにしたため、Ｔ字路を通る人物を漏れなく検知して、Ｔ字路における人物の移動状況を的確にユーザが把握することができる。
次に、図５に示した人物移動分析部３２での分析結果の出力の別の例を説明する。図９は、図５に示したモニタ４に表示される分析結果出力画面の要部を示す説明図である。
本実施形態では、図５に示した移動人物検知部３５において、計測エリアに対する移動元および移動先のいずれか一方により規定される移動パターン別に人物を検知し、集計処理部３６において、移動パターン別の人数を取得し、画面生成部３９において、図９に示すように、移動パターン別の人数をレーダーチャートで表示する表示情報を生成する。
特に、図９に示すレーダーチャートには、移動先により規定される移動パターン別の人数が表示されており、監視エリア全体を対象にして予め設定された４つの方向Ａ，Ｂ，Ｃ，Ｄが４つの軸に割り当てられ、各軸が各移動パターンの人数を表している。このレーダーチャートにより、計測エリアから退出する際にどの方向にどれだけの人数の人物が移動したかをユーザが把握することができる。
また、このレーダーチャートは計測エリア別に表示される。図９（Ａ）に示すレーダーチャートは、図３（Ｂ）に示したように、十字路の交差点に設定された第２の計測エリアＭＡ２の場合であり、４つの方向Ａ，Ｂ，Ｃ，Ｄに人物が移動することができるため、計測エリアに対する移動先を方向Ａ，Ｂ，Ｃ，Ｄの各方向とした移動パターンごとの人数が表示されている。図９（Ｂ）に示すレーダーチャートは、図３（Ｃ）に示したように、Ｔ字路の交差点に設定された第３の計測エリアＭＡ３の場合であり、３つの方向Ａ，Ｂ，Ｄに人物が移動することができるため、計測エリアに対する移動先を方向Ａ，Ｂ，Ｄの各方向とした移動パターンごとの人数が表示されている。図９（Ｃ）に示すレーダーチャートは、図３（Ｄ）に示したように、Ｌ字路に設定された第４の計測エリアＭＡ４の場合であり、２つの方向Ａ，Ｄに人物が移動することができるため、計測エリアに対する移動先を方向Ａ，Ｄの各方向とした移動パターンごとの人数が表示されている。
また、このレーダーチャートは、１日の営業時間を朝、昼および夕の３つの時間帯に分けて、この朝、昼および夕の時間帯別に移動パターンごとの人数が表示されている。これにより、移動パターンごとの人数の時間帯による違いを把握することができる。
このように本実施形態では、計測エリアに対する移動先により規定される移動パターン別に人物を検知し、その移動パターン別の人数をレーダーチャートで表示するようにしたため、移動先により規定される移動パターンごとの人数、すなわち計測エリアからどの方向にどれだけの人数の人物が移動したかをユーザが一目で把握することができる。
なお、図９に示した例では、移動先により規定される移動パターン別の人数を表示するようにしたが、移動元により規定される移動パターン別の人数を表示することも可能である。このようにすると、移動元により規定される移動パターンごとの人数、すなわちどの方向からどれだけの人数の人物が計測エリアに入ったかをユーザが一目で把握することができる。また、この移動パターン別の人数の表示は、レーダーチャートに限らず、棒グラフなど様々なチャートを用いることができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る人物移動分析装置、人物移動分析システムおよび人物移動分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、コンビニエンスストアなどの店舗の例について説明したが、このような店舗に限定されるものではなく、監視エリア内を移動する人物の移動状況を把握することが有用である場所に広く適用することができる。
また、本実施形態では、図２に示したように、計測エリアを矩形としたが、計測エリアは矩形に限定されるものではなく、三角形や、５つ以上の頂点を有する多角形とすることも可能である。
また、本実施形態では、図２に示したように、監視エリア全体を対象にして４つの基準となる方向Ａ，Ｂ，Ｃ，Ｄを予め設定するようにしたが、この基準となる方向は４つに限定されるものではなく、２つ、３つ、または５つ以上設定するようにしてもよい。
また、本実施形態では、図２に示したように、１本の通路、十字路、Ｔ字路およびＬ字路に計測エリアを設定するようにしたが、この他に、３本の通路が集まる三叉路（Ｙ字路）や、５本以上の道路が集まる交差点である多叉路に計測エリアを設定することも可能である。
また、本実施形態では、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、本実施形態では、人物移動分析に必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で顧客管理システムが構成される。
このような構成では、店舗に設けられた装置に、少なくとも人物検出処理および動線生成処理を行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ２１に、人物移動分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理および動線生成処理を行わせるようにしてもよい。このように構成すると、演算量が大きな処理をクラウドコンピュータ２１に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも出力情報生成処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン２２などの携帯型端末でも分析結果を確認することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で分析結果を確認することができる。
また、本実施形態では、店舗に設置されたＰＣ３のモニタ４に分析結果を出力するようにしたが、分析結果の出力装置をＰＣ３とは別に設けることも可能であり、例えば、前記のように本部に設置されたＰＣ１１やスマートフォン２２を分析結果の閲覧装置とする他に、店舗に設置された販売情報管理装置に分析結果の閲覧装置としての機能を付加することも可能である。また、分析結果をプリンタで出力することも可能である。
また、本実施形態では、店舗に設置されたＰＣ３のモニタ４に計測条件入力画面および分析結果出力画面を表示させ、またＰＣ３に接続された入力デバイス６で入力操作を行うようにしたが、人物移動分析処理を行うＰＣ３とは別に、必要な入力および出力を行う情報処理装置、特に携帯型情報処理装置、例えばタブレット端末を設けるようにしてもよい。
本発明にかかる人物移動分析装置、人物移動分析システムおよび人物移動分析方法は、監視エリア内の要所での人物の移動状況を店舗管理者などのユーザが容易に把握することができる効果を有し、監視エリアを撮影した映像に基づいて、監視エリア内での人物の移動状況を分析する人物移動分析装置、人物移動分析システムおよび人物移動分析方法などとして有用である。
１ カメラ
２ レコーダ
３ ＰＣ
４ モニタ
６ 入力デバイス
１１ ＰＣ
１２ モニタ
２１ クラウドコンピュータ
２２ スマートフォン
３１ 監視部
３２ 人物移動分析部
３３ 計測条件設定部
３４ 動線取得部
３５ 移動人物検知部
３６ 集計処理部
３７ ＧＵＩ制御部
３８ 入力情報取得部
３９ 画面生成部（出力情報生成部）

Claims (12)

  1. 監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する人物移動分析装置であって、
    前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する計測条件設定部と、
    前記映像から検出された人物ごとの動線情報を取得する動線取得部と、
    この動線取得部により取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する移動人物検知部と、
    この移動人物検知部での検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する出力情報生成部と、を備え、
    前記計測条件設定部にて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする人物移動分析装置。
  2. 前記移動人物検知部による検知結果を所定の集計期間単位で集計して、前記移動パターン別の人数を前記集計期間ごとに取得する集計処理部をさらに備え、
    前記出力情報生成部は、前記集計処理部により取得した前記集計期間ごとの移動パターン別の人数に関する前記出力情報を生成することを特徴とする請求項１に記載の人物移動分析装置。
  3. 前記計測条件設定部は、ユーザの入力操作に応じて、前記監視エリア内に複数の前記計測エリアを設定し、
    前記移動人物検知部は、前記計測エリアの各々において前記移動パターンに該当する人物を検知し、
    前記出力情報生成部は、前記計測エリアの各々における前記移動パターン別の人物の移動状況を表す出力情報を生成することを特徴とする請求項１または請求項２に記載の人物移動分析装置。
  4. 前記計測条件設定部は、ユーザの入力操作に応じて、前記移動元および移動先の双方を設定し、
    前記移動人物検知部は、前記移動元および移動先の双方の組み合わせにより規定される移動パターン別に人物を検知することを特徴とする請求項１から請求項３のいずれかに記載の人物移動分析装置。
  5. 前記出力情報生成部は、前記出力情報として、前記移動パターン別の人物の移動状況を並べて表示する表示情報を生成することを特徴とする請求項１から請求項４のいずれかに記載の人物移動分析装置。
  6. 前記移動人物検知部は、前記移動元および移動先のいずれか一方により規定される移動パターン別に人物を検知し、
    前記出力情報生成部は、前記出力情報として、前記移動パターン別の人数をレーダーチャートで表示する表示情報を生成することを特徴とする請求項２に記載の人物移動分析装置。
  7. 前記映像が、全方位カメラにより撮影されたものであることを特徴とする請求項１から請求項６のいずれかに記載の人物移動分析装置。
  8. 前記計測エリアは、全ての頂点が前記歩行不能領域に接するとともに、少なくとも２つの辺が前記歩行可能領域を横切るように設定されることを特徴とする請求項１から請求項７のいずれかに記載の人物移動分析装置。
  9. 前記計測エリアは、前記歩行可能領域が十字路となる場合に、４つの頂点が前記歩行不能領域の角点上に位置するように設定されることを特徴とする請求項８に記載の人物移動分析装置。
  10. 前記計測エリアは、前記歩行可能領域がＴ字路となる場合に、１つの辺が前記歩行不能領域に接するとともに、２つの頂点が前記歩行不能領域の角点上に位置するように設定されることを特徴とする請求項８に記載の人物移動分析装置。
  11. 監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する人物移動分析システムであって、
    前記監視エリアを撮影するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する計測条件設定部と、
    前記映像から検出された人物ごとの動線情報を取得する動線取得部と、
    この動線取得部により取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する移動人物検知部と、
    この移動人物検知部での検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する出力情報生成部と、を備え、
    前記計測条件設定部にて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする人物移動分析システム。
  12. 監視エリアを撮影した映像に基づいて、前記監視エリア内での人物の移動状況を分析する処理を情報処理装置に行わせる人物移動分析方法であって、
    前記監視エリアから歩行不能領域を除いた歩行可能領域に矩形の計測エリアを指定するとともに、その計測エリアに対する人物の移動元および移動先の少なくとも一方を前記監視エリア全体を対象にして予め設定された複数の基準方向から指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、前記計測エリアならびに前記移動元および移動先の少なくとも一方を計測条件として設定する第１のステップと、
    前記映像から検出された人物ごとの動線情報を取得する第２のステップと、
    この第２のステップにより取得した前記動線情報に基づき、前記計測エリアにおいて前記移動元および移動先の少なくとも一方により規定される移動パターンに該当する人物を検知する第３のステップと、
    この第３のステップでの検知結果に基づき、前記計測エリアにおける前記移動パターン別の人物の移動状況を表す出力情報を生成する第４のステップと、を有し、
    前記第１のステップにて指定される前記計測エリアの各辺は、複数の前記基準方向とそれぞれ直交する関係にあることを特徴とする人物移動分析方法。
JP2013239863A 2013-11-20 2013-11-20 人物移動分析装置、人物移動分析システムおよび人物移動分析方法 Active JP5834249B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013239863A JP5834249B2 (ja) 2013-11-20 2013-11-20 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
EP14863838.0A EP3073436A4 (en) 2013-11-20 2014-10-29 PERSON DISPLACEMENT ANALYSIS DEVICE, PERSON DISPLACEMENT ANALYSIS SYSTEM, AND PERSON DISPLACEMENT ANALYSIS METHOD
CN201480073255.9A CN106415649A (zh) 2013-11-20 2014-10-29 人移动分析装置、人移动分析***以及人移动分析方法
US15/037,150 US10121160B2 (en) 2013-11-20 2014-10-29 Person movement analysis device, person movement analysis system, and person movement analysis method
PCT/JP2014/005462 WO2015075870A1 (ja) 2013-11-20 2014-10-29 人物移動分析装置、人物移動分析システムおよび人物移動分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013239863A JP5834249B2 (ja) 2013-11-20 2013-11-20 人物移動分析装置、人物移動分析システムおよび人物移動分析方法

Publications (2)

Publication Number Publication Date
JP2015099539A JP2015099539A (ja) 2015-05-28
JP5834249B2 true JP5834249B2 (ja) 2015-12-16

Family

ID=53179165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013239863A Active JP5834249B2 (ja) 2013-11-20 2013-11-20 人物移動分析装置、人物移動分析システムおよび人物移動分析方法

Country Status (5)

Country Link
US (1) US10121160B2 (ja)
EP (1) EP3073436A4 (ja)
JP (1) JP5834249B2 (ja)
CN (1) CN106415649A (ja)
WO (1) WO2015075870A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6284086B2 (ja) * 2016-02-05 2018-02-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US10652459B2 (en) 2016-03-07 2020-05-12 Ricoh Company, Ltd. Information processing system, information processing method, and non-transitory computer-readable storage medium
JP6720585B2 (ja) * 2016-03-07 2020-07-08 株式会社リコー 情報処理システム、情報処理端末、および、プログラム
JP2017184025A (ja) * 2016-03-30 2017-10-05 株式会社リコー 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
JP6226308B1 (ja) * 2016-05-10 2017-11-08 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6393360B2 (ja) * 2016-05-11 2018-09-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮影制御方法、撮影制御システム及び撮影制御サーバ
DE202017100940U1 (de) * 2017-01-18 2017-03-06 Aeris Gmbh Arbeitsplatzanalysesystem
US10412096B2 (en) * 2017-04-18 2019-09-10 Visa International Service Association Wireless authentication based on location data
JP6910208B2 (ja) * 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6836961B2 (ja) * 2017-06-09 2021-03-03 アズビル株式会社 人検知装置および方法
JP6941075B2 (ja) * 2018-05-18 2021-09-29 Kddi株式会社 入場者特定装置、入場者特定方法及び入場者特定プログラム
JP6597838B1 (ja) 2018-06-01 2019-10-30 日本電気株式会社 動線分析装置、動線分析方法、および動線分析システム
JP7212862B2 (ja) * 2019-03-20 2023-01-26 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法、画像提供システム及び画像処理プログラム
US11087103B2 (en) 2019-07-02 2021-08-10 Target Brands, Inc. Adaptive spatial granularity based on system performance
CN111768520B (zh) * 2020-06-04 2023-01-24 站坐(北京)科技有限公司 目标检测装置及方法
JP7024820B2 (ja) * 2020-06-16 2022-02-24 株式会社リコー 情報処理方法
JP2023155637A (ja) * 2022-04-11 2023-10-23 株式会社日立製作所 軌跡表示装置および方法
JP7279241B1 (ja) 2022-08-03 2023-05-22 セーフィー株式会社 システムおよびプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
US7167576B2 (en) 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
JP2005148863A (ja) 2003-11-11 2005-06-09 Konica Minolta Holdings Inc 人数計数システム
US20060010028A1 (en) * 2003-11-14 2006-01-12 Herb Sorensen Video shopper tracking system and method
US7779147B1 (en) * 2006-06-30 2010-08-17 Amazon Technologies, Inc. Method and system for advertisement placement based on network trail proximity
US20080294487A1 (en) * 2007-04-27 2008-11-27 Kamal Nasser Methods and apparatus to monitor in-store media and consumer traffic related to retail environments
US8139818B2 (en) * 2007-06-28 2012-03-20 Toshiba Tec Kabushiki Kaisha Trajectory processing apparatus and method
US8107676B2 (en) * 2007-07-30 2012-01-31 International Business Machines Corporation Line length estimation
JP4621716B2 (ja) * 2007-08-13 2011-01-26 東芝テック株式会社 人物行動分析装置，方法及びプログラム
US8098888B1 (en) * 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
JP4585580B2 (ja) 2008-04-24 2010-11-24 東芝テック株式会社 人物動線追跡システム
JP2010002997A (ja) * 2008-06-18 2010-01-07 Toshiba Tec Corp 人物行動分析装置及び人物行動分析プログラム
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8885047B2 (en) * 2008-07-16 2014-11-11 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
US8010285B1 (en) * 2008-09-30 2011-08-30 Denise Jason A Electronic navigation related technology
US8812344B1 (en) * 2009-06-29 2014-08-19 Videomining Corporation Method and system for determining the impact of crowding on retail performance
US20110125551A1 (en) * 2009-11-24 2011-05-26 Mark Peiser Method and System for In-Store Media Measurement
JP2011248836A (ja) * 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
JP5728871B2 (ja) * 2010-09-29 2015-06-03 大日本印刷株式会社 移動管理システム、情報処理装置、移動管理方法、プログラム
US8798318B2 (en) 2012-01-18 2014-08-05 Xerox Corporation System and method for video episode viewing and mining
JP5314200B1 (ja) 2013-02-01 2013-10-16 パナソニック株式会社 接客状況分析装置、接客状況分析システムおよび接客状況分析方法
JP6273685B2 (ja) 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP5438859B1 (ja) 2013-05-30 2014-03-12 パナソニック株式会社 客層分析装置、客層分析システムおよび客層分析方法
JP5506990B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506989B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5438861B1 (ja) 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5597762B1 (ja) 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
US9693023B2 (en) 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method

Also Published As

Publication number Publication date
JP2015099539A (ja) 2015-05-28
EP3073436A4 (en) 2016-11-09
CN106415649A (zh) 2017-02-15
US20160275534A1 (en) 2016-09-22
WO2015075870A1 (ja) 2015-05-28
US10121160B2 (en) 2018-11-06
EP3073436A1 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5834249B2 (ja) 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
JP5597762B1 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
CN105516648B (zh) 活动状况分析装置、活动状况分析***及活动状况分析方法
JP5683663B1 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
CN104954736B (zh) 滞留状况分析装置、滞留状况分析***及分析方法
US10956722B2 (en) Moving information analyzing system and moving information analyzing method
US10180326B2 (en) Staying state analysis device, staying state analysis system and staying state analysis method
US20190102612A1 (en) Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method
US10965913B2 (en) Monitoring apparatus, monitoring system and monitoring method
US9794508B2 (en) Monitoring device, monitoring system, and monitoring method
US10546199B2 (en) Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
JP5789776B2 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
US20160307049A1 (en) Flow line analysis system and flow line analysis method
US20200302188A1 (en) Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method
US20160300181A1 (en) Product monitoring device, product monitoring system, and product monitoring method
US20180075461A1 (en) Customer behavior analysis device and customer behavior analysis system
JP5853141B2 (ja) 人数計測装置、人数計測システムおよび人数計測方法
JP5879616B1 (ja) 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体
US10474972B2 (en) Facility management assistance device, facility management assistance system, and facility management assistance method for performance analysis based on review of captured images
JP6374757B2 (ja) 人検知システムおよび方法
US20170344834A1 (en) Facility use measuring device and facility use measuring system
US20160019664A1 (en) Facility utilization measurement apparatus, facility utilization measurement system, and facility utilization measurement method
JP6226240B2 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2016154341A (ja) 活動状況分析システムおよび活動状況分析方法
US20240046652A1 (en) System and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150605

R151 Written notification of patent or utility model registration

Ref document number: 5834249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151