JP2018110303A - 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム - Google Patents

人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム Download PDF

Info

Publication number
JP2018110303A
JP2018110303A JP2016256843A JP2016256843A JP2018110303A JP 2018110303 A JP2018110303 A JP 2018110303A JP 2016256843 A JP2016256843 A JP 2016256843A JP 2016256843 A JP2016256843 A JP 2016256843A JP 2018110303 A JP2018110303 A JP 2018110303A
Authority
JP
Japan
Prior art keywords
area
information
person
people
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016256843A
Other languages
English (en)
Other versions
JP6803749B2 (ja
Inventor
麻理恵 神田
Marie Kanda
麻理恵 神田
貴之 藤堂
Takayuki Todo
貴之 藤堂
義行 久保田
Yoshiyuki Kubota
義行 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016256843A priority Critical patent/JP6803749B2/ja
Priority to US15/851,201 priority patent/US10546199B2/en
Publication of JP2018110303A publication Critical patent/JP2018110303A/ja
Application granted granted Critical
Publication of JP6803749B2 publication Critical patent/JP6803749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】人数計測領域の設定作業の経験が豊富な熟練者であるか否かに拘わらず、カメラ装置の撮像映像内への人数計測領域の設定を手軽に行うことができ、作業者の使い勝手を向上できる。【解決手段】人数計測領域設定方法は、カメラ装置により撮像された撮像エリアの撮像映像を表示部に表示し、表示部に表示された撮像映像に映し出される出入口の位置を示す第1パラメータが入力されると、入力された第1パラメータに基づいて、出入口を通過する1人以上の人数を計測するための人数計測領域の画像を生成して撮像映像に重畳して表示部に表示し、人数計測領域に関する情報をカメラ装置に送信して設定する。【選択図】図7

Description

本開示は、カメラ装置の撮像画像内に人数計測領域を設定する人数計測領域設定方法、人数計測設定プログラム及び動線分析システムと、設定された人数計測領域を通過する人物を計測するカメラ装置及び人数計測プログラムとに関する。
近年、コンビニエンスストア等の小型店舗やショッピングモール等の大型店舗のいずれでも、店舗内を撮影するカメラを設置し、カメラの撮像映像を基に店舗内の人物を監視する監視システムが広く普及している。このカメラの撮像映像を用いて店舗の出入口を通過する人物を検出し、入店する人物や退店する人物を計数することで、店舗を効率的に運営するための改善策等のマーケティング分析に利用でき、店舗の売上や利益の向上を図る上で有益である。
店舗等の所定の場所に出入りするための出入口の周辺を撮影した撮像画像に基づいて、出入口を通過した人物の人数を計測する人数計測装置が知られている(例えば特許文献1参照)。
特開2015−203912号公報
しかし、出入口を通過した人物の人数を計測するための人数計測領域の設定作業には経験豊富な熟練した設置業者に依る必要があり、不慣れな人が簡単に設定する事はできないという課題があった。特許文献1においても、この課題を解決するための具体的な方法は開示されていない。特にショッピングモール等の大型店舗では、設置されるカメラの台数が多くなるため、それぞれのカメラに対し、それぞれの画角内で所望の人数計測領域を設定するためには相当の時間がかかり、人数計測領域の設定の簡易化を図ることができなかった。
本発明は、上述した従来の課題を解決するために、人数計測領域の設定作業の経験が豊富な熟練者であるか否かに拘わらず、カメラ装置の撮像映像内への人数計測領域の設定を手軽に行うことができ、作業者の使い勝手を向上できる人数計測領域設定方法、人数計測領域設定プログラム及び動線分析システムを提供することを目的とする。
本発明は、上述した従来の課題を解決するために、映像の撮像範囲内に設定された人数計測領域を通過する人物の人数を的確に計測し、撮像エリアの監視用途又は人数の推移に基づくマーケティングの分析用途に資するカメラ装置及び人数計測プログラムを提供することを目的とする。
本開示は、カメラ装置により撮像された撮像エリアの撮像映像を表示部に表示し、前記表示部に表示された前記撮像映像に映し出される出入口の位置を示す第1パラメータが入力されると、入力された前記第1パラメータに基づいて、前記出入口を通過する1人以上の人数を計測するための人数計測領域の画像を生成して前記撮像映像に重畳して前記表示部に表示し、前記人数計測領域に関する情報を前記カメラ装置に送信して設定する、人数計測領域設定方法を提供する。
また、本開示は、コンピュータであるサーバ装置に、カメラ装置により撮像された撮像エリアの撮像映像を表示部に表示するステップと、前記表示部に表示された前記撮像映像に映し出される出入口の位置を示す第1パラメータが入力されると、入力された前記第1パラメータに基づいて、前記出入口を通過する1人以上の人数を計測するための人数計測領域の画像を生成して前記撮像映像に重畳して前記表示部に表示するステップと、前記人数計測領域に関する情報を前記カメラ装置に送信して設定させるステップと、を実行させるための、人数計測領域設定プログラムを提供する。
また、本開示は、カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、前記サーバ装置は、前記カメラ装置により撮像された撮像映像を表示部に表示し、前記表示部に表示された前記撮像映像に映し出される出入口の位置を示す第1パラメータが入力されると、入力された前記第1パラメータに基づいて、前記出入口を通過する1人以上の人数を計測するための人数計測領域の画像を生成して前記撮像映像に重畳して前記表示部に表示し、前記人数計測領域に関する情報を前記カメラ装置に送信し、前記カメラ装置は、前記サーバ装置から送信された前記人数計測領域に関する情報を設定し、前記撮像映像に対して設定された前記人数計測領域に基づいて、前記人数計測領域を通過する人物の人数を計測し、一定期間分の前記撮像映像と前記人数計測領域を通過する人物の人数の計測結果とを対応付けて前記サーバ装置に送信する、動線分析システムを提供する。
また、本開示は、サーバ装置と相互に接続されたカメラ装置であって、撮像エリアを撮像する撮像部と、前記撮像エリアの撮像映像に映し出される出入口を通過する1人以上の人数を計測するための人数計測領域に関する情報を前記サーバ装置から取得する取得部と、取得された前記人数計測領域に関する情報を用いて、前記撮像映像における前記人数計測領域を設定する設定部と、前記撮像映像に対して設定された前記人数計測領域に基づいて、前記人数計測領域を通過する人物の人数を計測する計測部と、一定期間分の前記撮像映像と前記人数計測領域を通過する人物の人数の計測結果とを対応付けて前記サーバ装置に送信する送信部と、を備える、カメラ装置を提供する。
また、本開示は、サーバ装置と相互に接続された、コンピュータであるカメラ装置に、撮像エリアを撮像するステップと、前記撮像エリアの撮像映像に映し出される出入口を通過する1人以上の人数を計測するための人数計測領域に関する情報を前記サーバ装置から取得するステップと、取得された前記人数計測領域に関する情報を用いて、前記撮像映像における前記人数計測領域を設定するステップと、前記撮像映像に対して設定された前記人数計測領域に基づいて、前記人数計測領域を通過する人物の人数を計測するステップと、一定期間分の前記撮像映像と前記人数計測領域を通過する人物の人数の計測結果とを対応付けて前記サーバ装置に送信するステップと、を実行させるための、人数計測プログラムを提供する。
本発明によれば、人数計測領域の設定作業の経験が豊富な熟練者であるか否かに拘わらず、カメラ装置の撮像映像内への人数計測領域の設定を手軽に行うことができ、作業者の使い勝手を向上できる。
本発明によれば、映像の撮像範囲内に設定された人数計測領域を通過する人物の人数を的確に計測でき、撮像エリアの監視用途又は人数の推移に基づくマーケティングの分析用途に資することができる。
本実施の形態のカメラ装置が配置されたショッピングモール(店舗)のフロア1の一例を示す見取り図 本実施の形態の動線分析システムを含む販売管理システムのシステム構成の一例を詳細に示すシステム構成図 本実施の形態のカメラ装置及びサーバ装置のそれぞれの機能的な内部構成の一例を詳細示すブロック図 カメラ情報設定画面の一例を示す図 ライン・マスク簡単設定画面の一例を示す図 ライン・マスク詳細設定画面の一例を示す図 本実施の形態のサーバ装置とカメラ装置との間で行われる、撮像画像に対するライン、マスクの設定に関する処理手順の一例を説明するシーケンス図 初期設定後の歩行テストによるラインの通過人数の解析結果の一例を示す図 実運用時における、ラインを通過する人物の方向別の通過数を計測する処理手順の一例を説明するフローチャート 実運用時における、複数のラインを通過する人物の通過数を計測する処理手順の一例を説明するフローチャート 店舗Aのフロア別並びに全フロアにおける入店人数、退店人数の時間帯別推移の一例を示す図 サーバ装置の表示画像生成部により生成された店舗Aの動線分析画像を含む運用画面の一例を示す図 サーバ装置の表示画像生成部により生成された2014年5月度の店舗Aの食料品売場における月例報告書の運用画面の一例を示す図
以下、適宜図面を参照しながら、本発明に係る人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラムを具体的に開示した実施の形態(以下、「本実施の形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
本実施の形態の動線分析システム500Aは、店舗(例えばショッピングモールやデパートのような大型店舗)に複数のカメラ装置が設置された構成として例示する。但し、動線分析システム500Aの設置先はショッピングモールやデパートのような大型店舗に限定されず、複数の移動体(例えば人物。以下同様とする。)が存在する箇所(例えば、コンビニエンスストア等の小型店舗、図書館等の公共施設、工場、オフィスビル)であればよい。
図1は、本実施の形態のカメラ装置100,100A,100Bが配置されたショッピングモール(店舗)のフロア1の一例を示す見取り図である。以下の説明において、ショッピングモールを「店舗」と称する場合がある。カメラ装置100,100A,100Bの構成はいずれも同一であり、その内部構成の詳細については図3を参照して後述する。図1では、3台のカメラ装置100,100A,100Bだけが図示されているが、これはカメラ装置の設置台数を限定する事を意図してはおらず、設置台数は1台や2台、又は4台以上であっても構わない。
カメラ装置100,100A,100Bは、いずれも店舗内の画角内の撮像エリアを監視するための監視カメラとしての役割を有する。また、カメラ装置100,100A,100Bは、画角内の撮像エリアの撮像映像に現れる人物の動き(例えばある場所に立ち止まって滞留しているのか、ある場所を通過したのか)を示す動線情報を取得し、更に、サーバ装置300から送信されるパラメータ(具体的には、人物計測領域に関する情報)を設定すると、その人物計測領域を通過する人物の人数を計測(計数)する。
カメラ装置100,100A,100Bは、例えば店舗内と店舗外との間の出入口に設置される自動ドアを画角として含むように設置される。従って、カメラ装置100,100A,100Bは、それぞれの画角内に含まれる自動ドアの付近に設定されるライン(後述参照)を跨ぐ(通過する)人物の人数を計測できる。
また、本実施の形態のカメラ装置は、例えば店舗内の隣り合うショップ同士の間を画角として含むように設置されてもよいし、店舗内の通路を挟んで対面するショップ同士の間(つまり、人々が滞留又は通過する通路やベンチ)を画角として含むように設置されてもよい。この場合、カメラ装置は、隣り合うショップ同士の間の付近に設定されるラインを通過する人物の人数を計測できたり、又は店舗内の対面するショップ同士の間の付近に設定されるラインを通過する人物の人数を計測できたりする。
本実施の形態では、図2に示すように、例えば本実施の形態の動線分析システム500A,500B,500C,…が複数の店舗毎に設置され、複数の動線分析システム500A,500B,500C,…がネットワークNWを介して接続された販売管理システム1000も構成される。但し、本実施の形態の動線分析システム500A,500B,500Cの実施形態は、後述する内容に限定されない。
図2は、本実施の形態の動線分析システム500A,500B,500Cを含む販売管理システム1000のシステム構成の一例を詳細に示すシステム構成図である。図2に示す販売管理システム1000は、複数の店舗A,B,C,…に個々に設置された動線分析システム500A,500B,500C,…と、運営本部のサーバ装置600と、例えば運営本部の社員により使用されるスマートフォン700と、外部のクラウドコンピュータ800と、設定端末装置900とを含む構成である。
それぞれの動線分析システム500A,500B,500C,…と、運営本部のサーバ装置600と、スマートフォン700と、クラウドコンピュータ800と、設定端末装置900とは、ネットワークNWを介して相互に接続されている。ネットワークNWは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線LAN(Local Area Network)、無線WAN(Wide Area Network)、3G(第3世代移動通信システム)、LTE(Long Term Evolution)、LTE−Advanced、5G(第5世代移動通信システム)、又はWiGig(Wireless Gigabit)である。有線ネットワークは、例えばイントラネット又はインターネットである。
図2に示す店舗Aに設置された動線分析システム500Aは、図1のフロア1に設置された複数のカメラ装置100,100A,…,100N(但し、上述したように図1では3台のカメラ装置100,100A,100Bのみ図示)と、レコーダ200と、サーバ装置300と、入力デバイス400と、モニタ450とを含む構成である。なお、フロア2にもフロア1と同様に複数のカメラ装置が設置され、フロア2内のカメラ装置の図示を省略している。それぞれのカメラ装置100,100A,…100Nの内部構成は同様であり、その詳細については図3を参照して後述する。
レコーダ200は、例えば半導体メモリ又はハードディスク装置を用いて構成され、店舗A内に設置された各カメラ装置の撮像により得られた映像(以下、カメラ装置の撮像により得られた映像を「撮像映像」という)のデータを記憶する。レコーダ200に記憶された撮像映像のデータは、例えば防犯等の監視業務又は店舗の運営に寄与するマーケティングの分析業務に供される。
サーバ装置300は、例えばPC(Personal Computer)を用いて構成され、入力デバイス400を操作するユーザ(例えば動線分析システム500Aのユーザであって、店舗Aの店員や店長を指す。以下同様。)の入力操作に応じて、所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)が発生したことをカメラ装置100に通知する。
サーバ装置300は、カメラ装置から送信された画角内を行き交う人物の動線情報を用いて、カメラ装置の撮像エリアに現れる人物の動線情報を、カメラ装置の撮像画像若しくは背景画像に重畳した動線分析画像を生成してモニタ450(表示部の一例)に表示する。画角内を行き交う人物は、例えば店員、店長、来店客であり、以下同様とする。人物の動線情報は、その人物がどの位置で滞留したのかを示す情報であり、更に、その人物がどの位置を通過したのかを示す情報である。
サーバ装置300は、入力デバイス400を操作するユーザの入力操作に応じて、所定の処理(例えば動線分析レポートの生成処理)を行い、動線分析レポートをモニタ450に表示する。
サーバ装置300は、入力デバイス400を操作するユーザの入力操作に応じて、カメラ装置毎に、カメラ装置の撮像映像内(つまり、画角内)に人物の人数計測用の人数検知領域(例えばライン)を設定するための設定画面(例えば図4や図5参照)をモニタ450に表示する。サーバ装置300は、モニタ450に表示された設定画面に対するユーザの入力操作に応じて決定されたパラメータ(つまり、人数検知領域に関する情報)を該当するカメラ装置に送信する。カメラ装置は、サーバ装置300から送信されたパラメータを設定する事で、画角内に設定された人数検知領域を通過する人物の人数を計測できる。この計測結果は、例えば時間帯別の人物の多寡等に基づく売上の傾向把握等のマーケティングの分析業務に資することができたり、店舗内に出入りする人物の多寡等に基づいて警備員の増員や減員の把握等の監視業務に資することができたりする。サーバ装置300の内部構成の詳細については図3を参照して後述する。
入力デバイス400は、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、ユーザの入力操作に応じた信号をカメラ装置100又はサーバ装置300に出力する。なお図2では、図面を簡単にするために、入力デバイス400とカメラ装置100との間にだけ矢印が図示されているが、入力デバイス400と他のカメラ装置(例えばカメラ装置100A、100N)との間に矢印が図示されても良い。
モニタ450は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、サーバ装置300により生成された動線分析画像、動線分析レポート、人物計測領域の設定画面(例えば図4や図5参照)を表示する。なお、モニタ450は、サーバ装置300とは異なる外部装置として設けられるが、サーバ装置300の内部に含まれた構成としても良い。
運営本部のサーバ装置600は、運営本部のサーバ装置600を操作する運営本部の社員(例えば役員)の入力操作に応じて、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。運営本部のサーバ装置600は、動線分析レポート(例えば図12や図13参照)を生成するために必要となる各種情報(例えば売上情報、来店者数情報、イベント日程情報、最高気温情報、最低気温情報)を保持する。なお、これらの各種情報は、店舗A,B,C,…毎に設けられたサーバ装置において保持されても良い。なお、運営本部のサーバ装置600は、各店舗A,B,C,…内に設置されたサーバ装置(例えば店舗Aであればサーバ装置300)における各処理を実行しても良い。これにより、運営本部のサーバ装置600は、各店舗A,B,C,…のデータを集約して動線分析レポート(例えば図12や図13参照)を生成することができ、運営本部のサーバ装置600に対する入力操作によって選択された一つの店舗の詳細データ(例えば図12や図13に示す動線分析レポート等)を取得することができ、又は複数の店舗間における特定の売場(例えば肉売場)のデータ比較結果の表示を行うことが可能になる。
スマートフォン700は、スマートフォン700を操作する運営本部の社員(例えば営業担当者)の入力操作に応じて、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。
クラウドコンピュータ800は、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートのデータを記憶するオンラインストレージであり、スマートフォン700を操作する運営本部の社員(例えば営業担当者)の入力操作に応じて、所定の処理(例えばX月Y日の動線分析レポートの検索及び抽出)を行い、処理結果をスマートフォン700に送信する。
設定端末装置900は、例えばPCを用いて構成され、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…のカメラ装置の設定画面を表示する専用のブラウザソフトウェアを実行可能である。設定端末装置900は、設定端末装置900を操作する運営本部の社員(例えば販売管理システム1000のシステム管理者)の入力操作に応じて、カメラ装置の設定画面(例えばCGI(Common Gateway Interface))をブラウザソフトウェアにおいて表示し、カメラ装置の設定情報を編集(修正、追加、削除)して設定する。
図3は、本実施の形態のカメラ装置100及びサーバ装置300のそれぞれの機能的な内部構成の一例を詳細示すブロック図である。図2に示す販売管理システム1000において、店舗A,B,C,…に設置されるそれぞれのカメラ装置は同様な構成であるため、図3ではカメラ装置100を例示して説明する。
図3に示すカメラ装置100は、撮像部10と、画像入力部20と、解析部30と、動線分析情報蓄積部40と、パラメータ保存部45と、スケジュール管理部50と、送信部60と、イベント情報受領部70と、パラメータ受領部80と、パラメータ設定部90とを含む構成である。解析部30は、対象検出部31と、動線分析部32と、通過滞留判定部33とを有する。
撮像部10は、レンズとイメージセンサとを少なくとも有する。レンズは、カメラ装置100の外部から入射する光(光線)を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、魚眼レンズ、又は例えば140度以上の画角が得られる広角レンズが用いられる。イメージセンサは、例えばCCD(Charged-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
画像入力部20は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、撮像部10からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なRGB(Red Green Blue)又はYUV(輝度・色差)等により規定される撮像画像のデータ(フレーム)を生成して解析部30に出力する。
ここで、図3には図示が省略されているが、カメラ装置100は、画像入力部20により生成される撮像画像を用いて、背景画像(つまり、撮像画像内に人物等の移動体が存在しない画像)を生成するための背景画像生成部を有してもよい。これにより、カメラ装置100は、人物のプライバシーを配慮した背景画像を生成できる。なお、背景画像生成部の構成の詳細については、本開示の一部の発明者により発明された特許第5838371号公報に開示の構成と同一であるため、詳細な説明を省略する。
背景画像生成部は、例えばCPU、MPU又はDSPを用いて構成され、所定のフレームレート(例えば30fps(frame per second))で、画像入力部20から出力された撮像画像のデータ(フレーム)毎に、撮像画像に含まれる移動体(例えば人物)を排除した背景画像を生成する。背景画像生成部における背景画像の生成処理は、例えば特開2012−203680号公報に開示されている方法を用いることができるが、この参考特許文献に開示されている方法に限定されない。
解析部30は、例えばCPU、MPU又はDSPを用いて構成され、所定のフレームレート(例えば10fps)で、画像入力部20から出力された撮像画像のデータ(フレーム)毎に、撮像画像に含まれる移動体(例えば人物)の滞留位置又は通過位置を含む動線情報を検出して動線分析情報蓄積部40に保存する。
対象検出部31は、画像入力部20から出力された撮像画像のフレームに対して公知の画像処理(例えば人物検出処理、顔検出処理)を行うことで、撮像画像のフレームに含まれる移動体(例えば人物)の有無を検出する。対象検出部31は、撮像画像のフレームに含まれる人物を検出した場合には、撮像画像のフレームに対する人物に関する情報並びに人物の検出領域に関する情報(例えばフレームにおける人物の座標情報)を動線分析部32に出力する。なお、対象検出部31は、撮像画像のフレームに含まれる人物を検出しなかった場合には、人物の検出領域に関する情報(例えば所定のヌル情報)を動線分析部32に出力する。
動線分析部32は、対象検出部31から出力された人物の検出領域に関する情報を基に、画像入力部20から出力された撮像画像の情報と、過去の人物の検出領域に関する情報(例えば、撮像画像情報や座標情報)を用いて、現在と過去の検出領域に関する情報の紐付けを行い、動線情報(例えば人物の検出領域の座標情報の変化量)として通過滞留判定部33に出力する。
通過滞留判定部33は、複数の撮像画像に対して動線分析部32から出力された動線情報を基に、撮像画像のフレームにおける移動体(例えば人物)の滞留位置又は通過位置を含む動線情報(例えば、「対象位置情報」と「動線情報」と「通過位置又は滞留位置に関する情報」)を抽出して生成する。また、通過滞留判定部33は、人物の滞留位置又は通過位置に関する動線情報の抽出結果を用いて、サーバ装置300の表示情報生成部350において生成される動線分析画像(ヒートマップ画像)のカラー部分の可視化画像を生成しても良い。
通過滞留判定部33は、複数の撮像画像のフレームに対する動線情報を用いることで、画像入力部20から出力された撮像画像のフレームの中で、人物が滞留した位置又は通過した位置に関する正確な動線情報を抽出して生成することができる。
また、計測部の一例としての通過滞留判定部33は、パラメータ保存部45に保存される人物計測領域(例えば、ライン、人物検知領域、マスク領域)のパラメータに基づいて、人物計測領域を通過する人物の人数を常時計測(計数)する。通過滞留判定部33は、この人数の計測結果と計測時刻とを対応付けて動線分析情報蓄積部40に保存する。なお、人物計測領域を通過する人物の人数の常時計測は、通過滞留判定部33でなく、動線分析部32により行われてもよい。
動線分析情報蓄積部40は、例えば半導体メモリ又はハードディスク装置を用いて構成され、解析部30により生成された人物の滞留位置又は通過位置に関する動線情報の抽出結果(例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」)のデータを記憶する。また、動線分析情報蓄積部40は、人物計測領域を通過する人物の人数の計測結果(計測時刻情報を含む)のデータを記憶する。また、動線分析情報蓄積部40は、画像入力部20により撮像された撮像画像(撮像映像)のデータ、不図示の背景画像生成部により生成された背景画像のデータをそれぞれ記憶する。
パラメータ保存部45は、例えば半導体メモリ又はハードディスク装置を用いて構成され、サーバ装置300又は他の外部装置(例えばカメラ設定画面等のCGI:Common Gate Interface)から送信されたパラメータ(具体的には、カメラ装置100の画角内に設定される人物計測領域の座標等の位置情報)の情報を保存する。
スケジュール管理部50は、例えばCPU、MPU又はDSPを用いて構成され、動線分析情報蓄積部40に保存された、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータと人物計測領域を通過する人物の人数の計測結果のデータとをサーバ装置300に定期的に送信するための所定の送信周期を送信部60に指示する。所定の送信周期は、例えば15分、1時間、12時間、24時間等であるが、これらの時間間隔に限定されない。
送信部60は、スケジュール管理部50又はイベント情報受領部70からの指示に応じて、動線分析情報蓄積部40に保存された、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータと人物計測領域を通過する人物の人数の計測結果のデータとを取得してサーバ装置300に送信する。従って、カメラ装置100は、一定期間分の送信対象データ(つまり、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータと人物計測領域を通過する人物の人数の計測結果のデータとを)を纏めてサーバ装置300に送信する。送信部60における送信タイミングについては、本開示の一部の発明者により発明された特許第5838371号公報に開示の方法と同一であるため、詳細な説明については省略する。
イベント情報受領部70は、サーバ装置300又は入力デバイス400から所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)の検出の通知を受領(取得)し、所定のイベントの検出の通知を受領(受信)する。イベント情報受領部70は、この受領に応じて、動線分析情報蓄積部40に保存された、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータと人物計測領域を通過する人物の人数の計測結果のデータとのサーバ装置300への送信指示を送信部60に出力する。なお、スケジュール管理部50に設定されるタイマー動作に基づいて所定のイベントの発生が通知される場合には、イベント情報受領部70はカメラ装置100の構成から省略されてもよい。
取得部の一例としてのパラメータ受領部80は、サーバ装置300又は他の外部装置から送信されたパラメータの情報(具体的には、カメラ装置100の画角内に設定される人物計測領域の座標等の位置情報)を受領(受信)してパラメータ設定部90に出力する。
設定部の一例としてのパラメータ設定部90は、例えばCPU、MPU又はDSPを用いて構成され、パラメータ受領部80から出力されたパラメータの情報(具体的には、カメラ装置100の画角内に設定される人物計測領域の座標等の位置情報)をパラメータ保存部45に書き込んで保存する。これにより、パラメータ設定部90は、撮像画像(撮像映像)における人物計測領域の位置情報のパラメータを設定できる。
図3に示すサーバ装置300は、イベント情報受領部310と、通知部320と、受信部330と、受信情報蓄積部340と、解析結果蓄積部345と、表示情報生成部350と、パラメータ取得部360と、パラメータ通知部370と、受信情報解析部380とを含む構成である。
イベント情報受領部310は、該当するカメラ装置毎に、所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)が発生した事を示す情報が入力デバイス400から入力された場合には、所定のイベントの検出の通知を受領する。イベント情報受領部310は、所定のイベントの検出の通知を受領した事を通知部320に出力する。なお、所定のイベントが発生した事を示す情報には、所定のイベントが発生した場所を撮像エリアとして撮像するカメラ装置の識別番号が含まれる。
通知部320は、イベント情報受領部310から出力された所定のイベントの検出の通知を該当するカメラ装置に送信する。
受信部330は、カメラ装置100から送信された送信対象データ(つまり、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータと人物計測領域を通過する人物の人数の計測結果のデータとを)を受信して受信情報蓄積部340及び表示情報生成部350に出力する。
受信情報蓄積部340は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部330が受信した送信対象データ(つまり、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータと人物計測領域を通過する人物の人数の計測結果のデータとを)を記憶する。
解析結果蓄積部345は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信情報解析部380により生成された解析結果のデータ(例えば、時間帯別の人数検知領域を通過した人物の人数の計測結果や、時間帯別のカメラ装置毎の撮像エリアに現れる人物の動線情報の解析結果)を記憶する。
表示情報生成部350は、例えばCPU、MPU又はDSPを用いて構成され、受信部330又は受信情報蓄積部340から取得した送信対象データ(例えば、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを)を用いて、背景画像に移動体の滞留位置又は通過位置に関する動線情報を重畳した動線分析画像を生成する。表示情報生成部350は、生成した動線分析画像をモニタ450に表示する。
動線分析画像は、カメラ装置100が撮像した撮像画像の中で人物が映らないように排除された背景画像に、撮像画像に対応する撮像領域において移動体がどこによく滞留したか、又はどこを通過したかを視覚的に示す動線情報がヒートマップのように所定のレンジ(例えば0〜255の値)の範囲内に定量的に可視化された画像である。
また、表示情報生成部350は、受信情報解析部380により生成された解析結果のデータ(例えば、(例えば、時間帯別の人数検知領域を通過した人物の人数の計測結果のデータ)を用いて、解析結果を視覚的に示したグラフ(例えば図11参照)を生成する。表示情報生成部350は、生成したグラフをモニタ450に表示する。
また、表示情報生成部350、動線分析レポートの生成指示が入力デバイス400から入力された場合には、動線分析レポート(例えば図12や図13参照)を生成する。表示情報生成部350は、生成した動線分析レポートをモニタ450に表示する。
また、表示情報生成部350は、カメラ装置の画角内に設定される人物計測領域の設定指示が入力デバイス400から入力された場合には、図5に示すライン・マスク簡単設定画面や図6に示すライン・マスク詳細設定画面STG2をモニタ450に表示する。ここで、人物計測領域の設定指示は、例えば図4に示すカメラ情報設定画面STG0の簡単設定ボタンEST1が入力デバイス400により押下(選択)された事を含む。
パラメータ取得部360は、図5に示すライン・マスク簡単設定画面STG1及び図6に示すライン・マスク詳細設定画面STG2のうち少なくとも1つにより設定された人物計測領域に関する情報(パラメータ)を解析結果蓄積部345から取得してパラメータ通知部370に出力する。
パラメータ通知部370は、パラメータ取得部360から出力された人物計測領域に関する情報(パラメータ)をカメラ装置100に通知する。人物計測領域に関する情報(パラメータ)は、カメラ装置100のパラメータ受領部80において受信される。
受信情報解析部380は、例えばCPU、MPU又はDSPを用いて構成され、受信情報蓄積部340に保存された送信対象データ(つまり、撮像画像もしくは背景画像のデータと人物の滞留情報又は通過情報に関する動線情報の抽出結果のデータと人物計測領域を通過する人物の人数の計測結果のデータとを)を用いて、各種の解析処理を実行して表示情報生成部350に出力したり、解析結果蓄積部345に保存したりする。解析処理は、例えばカメラ装置100から送信された、一定期間分の人物計測領域を通過する人物の人数の計測結果を用いて、人数の時間帯別の推移を求める処理である。但し、解析処理は、人数の時間帯別の推移を求める処理に限定されない事は言うまでもない。
ここで、カメラ情報設定画面STG0、ライン・マスク簡単設定画面STG1、ライン・マスク詳細設定画面STG2について、それぞれ図4、図5、図6を参照して説明する。図4は、カメラ情報設定画面STG0の一例を示す図である。図5は、ライン・マスク簡単設定画面STG1の一例を示す図である。図6は、ライン・マスク詳細設定画面STG2の一例を示す図である。
図4に示すカメラ情報設定画面STG0は、タブTB1の切替操作によって、例えば最大96台のカメラ装置に関する各種の情報を設定するための画面であり、表示情報生成部350によって生成されてモニタ450に表示される。図4では、例えばカメラ装置の識別番号No.1からNo.16までの16台分の設定情報が入力可能に表示されている。カメラ装置の設定情報として、ユーザの入力デバイス400の操作により、例えばIP(Internet Protocol)アドレス、ユーザ名、パスワード、HTTPポート番号(例えば80)が入力フィールドIFD1に入力可能である。
カメラ情報インポートボタンIMP1は、カメラ装置に関する情報をサーバ装置300又は外部装置からインポートするために使用される。インポートされた情報は入力フィールドIFD1に表示される。
カメラ情報エクスポートボタンEXP1は、カメラ装置に関する情報(例えばカメラ装置の設定情報)を外部装置にエクスポートするために使用される。
また、それぞれのカメラ装置に対し、画角内に設定されるべき人物計測領域の簡単設定ボタンEST1、テスト開始ボタンTSS1、テスト結果ボタンTSR1、パラメータP1の入力欄PRI1、閾値設定ボタンSTF1、チェックボックスCRB1が対応付けて表示されている。
簡単設定ボタンEST1は、ユーザの入力デバイス400の操作(押下)により、表示情報生成部350が図5に示すライン・マスク簡単設定画面STG1を生成して表示するためのボタンである。
テスト開始ボタンTSS1は、ユーザの入力デバイス400の操作(押下)により、人物計測領域が設定されたカメラ装置に対し、その人物計測領域の設定の適否が確認される歩行テストを開始するためのボタンである。テスト開始ボタンTSS1が押下されると、サーバ装置300は、人物計測領域が設定されたカメラ装置の撮像エリア内で1人以上の人物が実際に人物計測領域を通過する歩行テストが行われた時の撮像映像及び人物計測領域を通過した人物の人数の計測結果を受信する。
テスト結果ボタンTSR1は、ユーザの入力デバイス400の操作(押下)により、歩行テストの結果(例えば統計結果)を視覚的なグラフとして表示するためのボタンである。テスト結果ボタンTSR1が押下されると、サーバ装置300は、歩行テストの結果として、カメラ装置から送信された計測結果を基に統計結果(例えば時間帯別の人物計測領域を通過した人物の人数の計測結果)を生成してグラフとして表示する(例えば図8参照)。
パラメータP1の入力欄PRI1は、人物計測領域を設定する時に選択される高さの値に応じたパラメータP1(例えば撮像画像上において一人の人物と見なすための最低限の画素数)を閾値として入力するための欄である。
閾値設定ボタンSTF1は、入力欄PRI1に入力された閾値の値を確定するために使用されるボタンである。閾値設定ボタンSTF1が押下されると、サーバ装置300は、入力欄PRI1に入力された閾値の値を、パラメータP1(例えば撮像画像上において人物と見なすための最低限の画素数)の確定値と設定する。
チェックボックスCRB1は、歩行テストの実行対象となる1台以上のカメラ装置を選択するために使用されるボタンである。チェックボックスCRB1により選択されたカメラ装置に対し、選択したカメラのテスト実行ボタンTSE1が押下されると、テスト開始ボタンTSS1が押下された時と同様に一括して歩行テスト時のサーバ装置300の処理が開始される。
テスト結果一括エクスポートボタンEXP2は、歩行テストが行われた1台以上のカメラ装置の計測結果に基づいてサーバ装置300が生成した統計結果(テスト結果)を一括で外部装置にエクスポートするために使用される。
図5に示すライン・マスク簡単設定画面STG1は、入力デバイス400を使用するユーザが人物計測領域を簡単に設定するための画面であり、表示情報生成部350によって生成されてモニタ450に表示される。図5では、人物計測領域(例えばライン)を設定するために、カメラ装置の撮像画像LNG1の表示領域と、高さ入力欄HG1と、高さ設定ボタンSTH1と、複数のコントロールボックスLR1,LR2,LR3,LR4、LR5,LR6,LR7,LR8と、ライン自動生成ボタンLDW1と、ライン位置設定ボタンSTL1と、ライン画像出力ボタンLGP1と、ドアチェックボックスDR1と、マスク生成ボタンMSK1とが表示される。
高さ入力欄HG1には、カメラ装置の高さ(カメラ高さ)が入力される。図5では、床面からの高さとして、例えば3.0m(メートル)が入力されている。カメラ装置の高さの大小によって、カメラ装置の撮像画像内の人物の大きさが変わる。言い換えると、カメラ装置の高さによって、カメラ装置が人物とみなすための大きさ(より具体的には、画素数)が異なるので、人物と見なすための大きさが適切に設定されないと、人物の検知精度が変わる。そこで、本実施の形態では、カメラ装置の高さ(例えば3m(メートル))とカメラ装置が人物とみなすための大きさ(例えば100ピクセル)とが対応付けられている。
高さ設定ボタンSTH1は、入力デバイス400を使用するユーザの簡単な操作により、押下されることで、高さ入力欄HG1に入力された値をカメラ装置の高さとして確定して設定する。設定された高さの情報は、人物計測領域に関する情報(パラメータ)のデータとして、表示情報生成部350によって生成されてから解析結果蓄積部345に保存される。
複数のコントロールボックスLR1,LR2,LR3,LR4、LR5,LR6,LR7,LR8は、カメラ装置の撮像画像LNG1内に映し出される出入口(例えば店舗外と店舗内との境界に設置された自動ドアDOR)の位置又は方向を指定するために使用される。図5では、カメラ装置の撮像画像LNG1の図5紙面下側に自動ドアDORが映っているので、図5紙面下側の位置又は方向を示すコントロールボックスLR7が、入力デバイス400を使用するユーザの操作によって選択されている。
ライン自動生成ボタンLDW1は、いずれかのコントロールボックスの選択によって人物計測領域(ここではライン)をカメラ装置の撮像画像LNG1上に重畳して描画するために使用される。いずれかのコントロールボックスが選択された上でライン自動生成ボタンLDW1が押下されると、表示情報生成部350は、選択されたコントロールボックスの位置又は方向に映し出される出入口(例えば自動ドアDOR)とほぼ同程度の長さを有するラインLNEを、その出入口の付近に描画して表示する。図5では、ラインLNEは、例えば来店客が自動ドアDORを通過した後に歩く店舗内の通路の長さと同等、又は自・BR>ョドアDORの幅と同等の長さを有する。なお、撮像画像LNG1はカメラ装置(例えば全方位カメラ)によって撮像されているので、中心から周辺部分に向かって歪んでいるので、自動ドアDORの長さとラインLNEの長さとで距離感が分かりづらいが、自動ドアDORとラインLNEとは同程度の長さを有する。また、ラインLNEの画像として、通過方向を示す文字画像を含んでもよい。例えば、自動ドアDORを通過して人物が店舗内に入った事を示す「IN」の文字画像及び店舗内に入った方向を示す矢印画像がラインLNEの画像として示されている。同様に、自動ドアDORを通過して人物が店舗外に入った事を示す「OUT」の文字画像及び店舗外に出た方向を示す矢印画像がラインLNEの画像として示されている。なお、描画されるラインの本数は1本と設定されるが、設定画面(不図示)に対する入力デバイス400を使用するユーザの操作によって、2本又は3本以上に設定されても構わない。
ライン位置設定ボタンSTL1は、ライン自動生成ボタンLDW1の押下に応じて生成されたラインLNEの画像(上述参照)を確定するために使用される。ライン位置設定ボタンSTL1が押下されると、表示情報生成部350は、画角(つまり、撮像画像)内のラインLNEの位置情報を確定して設定する。設定されたラインLNEの位置情報は、人物計測領域に関する情報(パラメータ)のデータとして、表示情報生成部350によって高さの情報と対応付けて生成されてから解析結果蓄積部345に保存される。
ライン画像出力ボタンLGP1は、ライン自動生成ボタンLDW1の押下によって生成されたラインLNEの画像(上述参照)をライン画像データとして保存するために使用される。ライン画像出力ボタンLGP1が押下されると、表示情報生成部350は、ライン画像データを解析結果蓄積部345に保存する。
ドアチェックボックスDR1及びマスク生成ボタンMSK1は、人物計測領域(例えば、人物検知領域、マスク領域)を生成するために使用される。
ドアチェックボックスDR1は、例えばカメラ装置の画角内に自動ドアDOR等のドア(出入口の一例)がある場合に、人物計測領域の一例としての図6に示すドアマスク領域DMSK1を表示するために選択される。ドアチェックボックスDR1が選択された上でマスク生成ボタンMSK1が押下された場合には、表示情報生成部350は、人物計測領域の一例としての人物検知領域CMSK1及びドアマスク領域DMSK1を撮像画像LNG1に重畳して表示したライン・マスク詳細設定画面STG2を表示する(図6参照)。
マスク生成ボタンMSK1は、カメラ装置の画角内に自動ドアDOR等のドア(出入口の一例)の有無に拘わらず、人物計測領域の一例としての人物検知領域CMSK1(つまり、ラインLNEを通過する人物を有効にカウントするための、ラインLNEの周囲に設けられる所定形状の領域)を生成するために使用されるボタンである。マスク生成ボタンMSK1が押下された場合には、表示情報生成部350は、人物計測領域の一例としての人物検知領域CMSK1を撮像画像LNG1に重畳して表示したライン・マスク詳細設定画面STG2を表示する(図6参照)。
図6に示すライン・マスク詳細設定画面STG2は、入力デバイス400を使用するユーザが人物計測領域を詳細に設定するための画面であり、表示情報生成部350によって生成されてモニタ450に表示される。図6では、人物計測領域(例えばラインLNE、人物検知領域CMSK1、ドアマスク領域DMSK1)と、それぞれの人物計測領域の位置を調整(修正)又は削除するための各種ボタンとが表示される。各種ボタンは、例えばEasyMaskボタンBT0と、ライン描画ボタンBT1と、四角形描画ボタンBT2と、多角形描画ボタンBT3と、四角形描画ボタンBT4と、多角形描画ボタンBT5と、ライン選択ボタンBT6と、人物検知領域選択ボタンBT7と、マスク領域選択ボタンBT8と、消去ボタンBT9と、全て消去ボタンBT10とが表示される。
ラインLNEは、ライン・マスク簡単設定画面STG1のライン自動生成ボタンLDW1の押下によって自動生成されたライン、又は後述の各種ボタンによって位置が調整(修正)されたラインを示す。上述したように、ラインLNEの幅は、ラインLNEを通過する人物の人数を無駄なく正確に計測するために、自動ドアDORの幅と同等の幅に設定される。言い換えると、ラインLNEを跨がずに回り込んだ人物の人数は計測対象から排除できるように、ラインLNEの幅は設定される。
人物検知領域CMSK1は、ライン・マスク簡単設定画面STG1のマスク生成ボタンMSK1の押下によって生成された人物検知領域、又は後述の各種ボタンによって位置が調整(修正)された人物検知領域を示す。人物検知領域CMSK1は、上述したように、ラインLNEを通過する人物の人数を無駄なく正確に計測するために、ラインLNEの幅を含む所定形状の領域を有し、この領域内でラインLNEを通過する人物の人数がカメラ装置によって計測される。
ドアマスク領域DMSK1は、ライン・マスク簡単設定画面STG1のドアチェックボックスDR1が選択された上でマスク生成ボタンMSK1の押下によって生成された、自動ドアDORを覆うドアマスク領域(マスク領域の一例)、又は後述の各種ボタンによって位置が調整(修正)されたドアマスク領域(マスク領域の一例)を示す。ドアマスク領域DMSK1は、人物が近付く度に開閉する(つまり、動く)自動ドアDORをカメラ装置の計測対象から除外できるように、人物以外の移動物体(ここでは、自動ドアDOR)の周囲を覆う所定幅を有する。言い換えると、ドアマスク領域DMSK1内に現れた人物はカメラ装置における人数計測の対象から省かれる。
EasyMaskボタンBT0は、入力デバイス400を使用するユーザの簡単な操作により、押下されると、表示情報生成部350により、人物検知領域CMSK1がラインLNEの全体を覆うように表示される。
ライン描画ボタンBT1は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上でラインを描画する際に使用される。
四角形描画ボタンBT2は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で四角形状の人物検知領域を描画する際に使用される。
多角形描画ボタンBT3は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で多角形状の人物検知領域を描画する際に使用される。
四角形描画ボタンBT4は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で四角形状のマスク領域(例えばドアマスク領域DMSK1)を描画する際に使用される。
多角形描画ボタンBT5は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で多角形状のマスク領域(例えばドアマスク領域DMSK1)を描画する際に使用される。
ライン選択ボタンBT6は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で描画されたラインの位置を調整(修正)する際に押下され、押下された後、入力デバイス400を使用するユーザの操作(具体的には、ドラッグ操作)によって、ラインの位置が調整(修正)される。
人物検知領域選択ボタンBT7は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で描画された人物検知領域の位置を調整(修正)する際に押下され、押下された後、入力デバイス400を使用するユーザの操作(具体的には、ドラッグ操作)によって、人物検知領域の位置が調整(修正)される。
マスク領域選択ボタンBT8は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で描画されたマスク領域の位置を調整(修正)する際に押下され、押下された後、入力デバイス400を使用するユーザの操作(具体的には、ドラッグ操作)によって、マスク領域の位置が調整(修正)される。
消去ボタンBT9は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で描画されたライン、人物検知領域及びマスク領域のうちいずれかを削除する際に押下され、押下された後、入力デバイス400を使用するユーザの操作(具体的には、ドラッグ操作)によって、選択された、ライン、人物検知領域及びマスク領域のうちいずれかが削除される。
全て消去ボタンBT10は、入力デバイス400を使用するユーザの簡単な操作により、表示情報生成部350がライン・マスク詳細設定画面STG2内の撮像画像LNG1上で描画されたライン、人物検知領域及びマスク領域の全てを削除する際に押下され、押下された後、描画されているライン、人物検知領域及びマスク領域の全てが削除される。
このように、図5に示すライン・マスク簡単設定画面STG1及び図6に示すライン・マスク詳細設定画面STG2により設定された人物検知領域CMSK1やドアマスク領域DMSK1の位置情報は、人物計測領域に関する情報(パラメータ)のデータとして、表示情報生成部350によって高さの情報及びラインの位置情報と対応付けて生成されてから解析結果蓄積部345に保存される。
次に、本実施の形態のサーバ装置300とカメラ装置100との間で行われる、撮像画像に対するライン、マスクの設定に関する処理手順の一例について、図7を参照して説明する。図7は、本実施の形態のサーバ装置300とカメラ装置100との間で行われる、撮像画像LNG1に対するライン、マスクの設定に関する処理手順の一例を説明するシーケンス図である。
図7において、表示情報生成部350は、図4に示すカメラ情報設定画面STG0をモニタ450に表示する。入力デバイス400を使用するユーザの簡単な操作により、例えば図4に示すカメラ情報設定画面STG0の該当するカメラ装置の入力フィールドIFD1に、必要なカメラ情報が入力されると(S1)、表示情報生成部350は、入力されたカメラ情報を入力フィールドIFD1に表示する。
次に、入力デバイス400を使用するユーザの簡単な操作により、同カメラ情報設定画面STG0内の、該当するカメラ装置に対応する簡単設定ボタンEST1が押下されると(S2)、表示情報生成部350は、図5に示すライン・マスク簡単設定画面STG1をモニタ450に表示する。このライン・マスク簡単設定画面STG1の高さ入力欄HG1には、現在設定されているカメラ装置の高さの値がデフォルト値として表示される(S3)。
ライン・マスク簡単設定画面STG1において、入力デバイス400を使用するユーザの簡単な操作により、高さ入力欄HG1に新たな値又は現在表示されている値が入力されている状態で高さ設定ボタンSTH1が押下されると(S4)、表示情報生成部350は、人物検知領域に関する情報(パラメータ)として、カメラ装置の高さを確定する。
次に、ライン・マスク簡単設定画面STG1に表示されているカメラ装置の撮像画像LNG1に出入口(例えば自動ドアDOR)が映し出されている場合に、入力デバイス400を使用するユーザの簡単な操作により、複数のコントロールボックスLR1〜LR8の中からいずれかのコントロールボックスが自動ドアDORの位置として選択される(S5)。
ステップS5の後、入力デバイス400を使用するユーザの簡単な操作により、ライン自動生成ボタンLDW1が押下されると(S6)、表示情報生成部350は、ステップS5で選択されたコントロールボックスの位置又は方向に基づいて、その位置又は方向に映し出される出入口(例えば自動ドアDOR)とほぼ同程度の長さを有するラインLNEを、その出入口の付近に描画(つまり、撮像画像LNG1上に重畳)して表示する(S7)。ラインLNEの描画位置は表示情報生成部350に算出される。例えば、自動ドアDORから所定の距離離れた位置にラインLNEが描画される。この所定の距離に関する情報は表示情報生成部350の算出時に参照される。
ここで、例えばライン・マスク詳細設定画面STG2がモニタ450に表示されていて、入力デバイス400を使用するユーザの簡単な操作により、ステップS7において描画されたラインLNEの位置が微調整された場合には(S8)、表示情報生成部350は、微調整後のラインLNEの位置をメモリ(不図示)に保持する。
ステップS7又はステップS8の後、入力デバイス400を使用するユーザの簡単な操作により、ライン位置設定ボタンSTL1が押下されると(S9)、表示情報生成部350は、人物検知領域に関する情報(パラメータ)として、画角(つまり、撮像画像)内のラインLNEの位置情報を確定して設定する。
次に、入力デバイス400を使用するユーザの簡単な操作により、ライン・マスク簡単設定画面STG1のドアチェックボックスDR1が選択された上でマスク生成ボタンMSK1が押下されると(S10)、表示情報生成部350は、人物計測領域の一例としての人物検知領域CMSK1及びドアマスク領域DMSK1を撮像画像LNG1に重畳して表示したライン・マスク詳細設定画面STG2を表示する(S11、図6参照)。
入力デバイス400を使用するユーザの簡単な操作により、EasyMaskボタンBT0が押下されると(S12)、表示情報生成部350は、ラインLNEの全体を覆うように、人物計測領域の一例としての人物検知領域CMSK1をライン・マスク詳細設定画面STG2の撮像画像LNG1上に重畳して表示する(S13)。
ここで、入力デバイス400を使用するユーザの簡単な操作により、ステップS13において表示された人物検知領域CMSK1やドアマスク領域DMSK1の位置や形状が微調整された場合には(S14)、表示情報生成部350は、微調整後の人物検知領域CMSK1やドアマスク領域DMSK1の位置をメモリ(不図示)に保持する。
ステップS13又はステップS14の後、入力デバイス400を使用するユーザの簡単な操作により、設定ボタン(図6に示すライン・マスク詳細設定画面STG2において不図示)が押下されると(S15)、表示情報生成部350は、人物検知領域に関する情報(パラメータ)として、画角(つまり、撮像画像)内の人物検知領域CMSK1やドアマスク領域DMSK1の位置情報を確定して設定する。
サーバ装置300のパラメータ通知部370は、ステップS15において設定された人物計測領域に関する情報(パラメータ)をカメラ装置100に通知する(S16)。人物計測領域に関する情報(パラメータ)は、例えば画角(つまり、撮像画像)内のラインLNEの位置情報、人物検知領域CMSK1やドアマスク領域DMSK1の位置情報であり、カメラ装置100のパラメータ受領部80において受信される。カメラ装置100のパラメータ設定部90は、パラメータ受領部80において受信された人物計測領域に関する情報(パラメータ、上述参照)をパラメータ保存部45に書き込んで設定する(S17)。これにより、カメラ装置100に対する人物計測領域に関する情報の初期設定が完了する。即ち、カメラ装置100の撮像画像LNG1に対する人物検知領域CMSK1内のラインLNEを通過する人物の人数を計測し、かつドアマスク領域DMSK1内の人物を計測対象から省くという人数計測の実運用が開始される。
また、初期設定後、実運用が開始される前に、1人以上の被験者(例えばカメラ装置100の施行業者、店舗の社員)が、カメラ装置100の画角内のラインLNE、人物検知領域CMSK1、ドアマスク領域DMSK1の周囲を実際に歩行する歩行テストが実行される(S21)。この歩行テストの開始は、入力デバイス400を使用するユーザの簡単な操作により、例えばカメラ情報設定画面STG0のテスト開始ボタンTSS1が押下された事で指定される。
受信情報解析部380は、歩行テスト中にカメラ装置100から送信された送信対象データの人数計測領域(具体的には、人物検知領域CMSK1内のラインLNE)を通過する人物の人数の計測結果のデータを用いて、図8に示す解析結果のデータを生成する。表示情報生成部350は、受信情報解析部380により生成された解析結果のデータを視覚的に示すグラフを生成してモニタ450に表示する。これにより、図8に示すグラフを目視で確認したユーザの判断により、歩行テストの結果に基づく調整後の閾値(例えば図4に示すパラメータP1)がカメラ情報設定画面STG0の入力欄PRI1に入力される(S22)。
ステップS22の後、サーバ装置300のパラメータ通知部370は、ステップS22において設定された閾値を含む人物計測領域に関する情報(パラメータ)をカメラ装置100に通知する(S23)。人物計測領域に関する情報(パラメータ)は、例えばステップS22において調整された閾値、画角(つまり、撮像画像)内のラインLNEの位置情報、人物検知領域CMSK1やドアマスク領域DMSK1の位置情報であり、カメラ装置100のパラメータ受領部80において受信される。カメラ装置100のパラメータ設定部90は、パラメータ受領部80において受信された人物計測領域に関する情報(パラメータ、上述参照)をパラメータ保存部45に書き込んで設定する(S24)。これにより、カメラ装置100に対する人物計測領域に関する情報の歩行テスト後の設定が完了する。即ち、カメラ装置100の撮像画像LNG1に対する人物検知領域CMSK1内のラインLNEを通過する人物の人数を計測し、かつドアマスク領域DMSK1内の人物を計測対象から省くという人数計測の実運用が開始される。
図8は、初期設定後の歩行テストによるラインの通過人数の解析結果の一例を示す図である。図8の横軸は頻度を示し、図8の縦軸は人物の検知枠の大きさ(つまり、カメラ装置が撮像画像内に現れる人物を検知する時の人物枠の大きさ)を示す。図8により、頻度の高い検知枠の大きさが閾値(パラメータP1)として設定される。
パターン1〜5は、それぞれ歩行テスト時の被験者の歩き方のパターンを示す。例えばパターン1は自動ドアDORから入店してまっすぐ進む歩き方のパターン、パターン2は自動ドアDORから入店して斜め右に進む歩き方のパターン、パターン3は自動ドアDORから入店して斜め左に進む歩き方のパターン、パターン4は店舗内から自動ドアDORに向かってまっすぐ進む歩き方のパターン、パターン5は店舗内から自動ドアDORに向かって斜め左に進む歩き方のパターンを示す。図8では、いずれのパターンにおいても、頻度のピーク値が同じ検知枠の大きさにおいて出現しているので、この時の縦軸の値が閾値(つまり、パラメータP1)として設定される。
カメラ装置100における人数の計測処理を正確に行うためには、例えば人物と見なすための大きさを示すパラメータを適切に設定する必要がある。このパラメータの最適値は、必ずしも一律に決まる値ではなく、設置環境により異なる事がある。例えば、照明がスポット照明のときと蛍光灯のときとで影の出方が異なるので、影の出方によってもパラメータの変更が必要となる。又は、例えば外光が入り込みやすいかどうかで、明るさが異なるので、明るさによってもパラメータの変更が必要となる。従って、設置環境に合わせて、最適なパラメータを設定する必要があるが、熟練した技術者でないと難しく、最適なパラメータを設定しないと、最大の精度を引き出すことが出来ない。
そこで、本実施の形態では、サーバ装置300の受信情報解析部380は、歩行テストの結果としてカメラ装置100から得られた各パターンにおける人数の計測結果を用いて、図8に示す解析結果を生成し、サーバ装置300の表示情報生成部350がこの解析結果をモニタ450に表示する。これにより、熟練した技術者でない一般のユーザであっても、設置環境に合わせて最適なパラメータを判断できるようになる。なお、この最適なパラメータ値は、ユーザが判断しても良いし、自動で行う(例えばサーバ装置300の受信情報解析部380が抽出する)事も可能である。
図9は、実運用時における、ラインLNEを通過する人物の方向別の通過数を計測する処理手順の一例を説明するフローチャートである。カメラ装置100の通過滞留判定部33は、図9に示す人数の計測処理をラインLNEに対して実行する。通過滞留判定部33は、設定されたラインLNEについて、人物がラインを越えて通過した事を判定する(S31)。ラインLNE越えの判定は、対象検出部31における人物検出及び動線分析部32における移動体追跡の処理結果に基づき、通過滞留判定部33により、人物の移動軌跡の座標により、ラインを越えたかどうかを判定すればよい。
通過滞留判定部33は、人物のラインLNE越えがあったかどうかを判定し(S32)、ラインLNE越えがあった場合(S32、YES)、ラインを越えた方向を判定する(S33)。一方、ラインLNE越えがなかった場合(S32、NO)、図9に示す処理は終了する。
次に、通過滞留判定部33は、方向別の人物の人数計測値(つまり、ラインLNE越えの人数)を更新(1つ増分)する(S34)。通過滞留判定部33は、方向別の人物の人数の計測結果を送信部60を介してサーバ装置300に出力する。サーバ装置300は、当該ラインLNEに対応する計数結果(通過数)を動線分析画像に付加し、モニタ450に表示する。
図10は、実運用時における、複数のラインLNEを通過する人物の通過数を計測する処理手順の一例を説明するフローチャートである。カメラ装置100の通過滞留判定部33は、図10に示す人物の人数の計測処理を、複数(例えば2つ)のラインに関して、ラインの数だけ実行する。通過滞留判定部33は、撮像画像LNG1内に設定されたそれぞれのラインについて、人物がラインを越えて通過した事を判定する(S41)。ここで、通過滞留判定部33は、人物のライン越えがあったかどうかを判定し(S42)、ライン越えがあった場合(S42、YES)、ラインを越えた方向を判定する(S43)。そして、通過滞留判定部33は、ラインの通過情報を動線分析情報蓄積部40に蓄積する(S44)。ここで、通過滞留判定部33は、どのラインを越えたかを示す通過情報として、ライン番号等のラインのID情報と通過数を蓄積する。
次に、通過滞留判定部33は、ラインが複数のラインに渡る人物の人数を計測する複数ライン計測対象ラインであるかどうかを判定し(S45)、複数ライン計測対象ラインである場合(S45、YES)、その人物が前回越えたラインが所定の指定ラインかどうかを判定する(S46)。ラインの設定に関し、例えば複数ライン計測対象ラインが複数(例えば2本)のラインに設定され、所定の指定ラインが1本設定されている。この場合、今回のライン越えがあったラインがいずれかの複数ライン計測対象ラインであり、前回のライン越えがあったラインが所定の指定ラインである場合、ステップS45、S46の判定が共にYESとなる。ステップS46において、前回越えたラインが所定の指定ラインである場合(S46、YES)、該当する複数のライン(複数ライン計測対象ライン及び所定の指定ライン)の人物の計測数(ライン越え人数)を更新(1つずつ増分)する(S47)。そして、通過滞留判定部33は、複数のラインを通過した人物の計測結果(計測数の情報)を、送信部60を介してサーバ装置300に送信する。サーバ装置300は、ラインに対応する計測結果を受信して動線分析画像に付加して生成し、モニタ450に表示する。
図11は、店舗Aのフロア別並びに全フロアにおける入店人数、退店人数の時間帯別推移の一例を示す図である。図11の横軸は時間帯(例えば1時間)を示し、図11の縦軸はカメラ装置により計測された人物計測領域を通過した人数の時間帯別の累計値を示す。受信情報解析部380は、受信情報蓄積部340に保存された送信対象データ(つまり、人物計測領域を通過する人物の人数の計測結果のデータ)を用いて、人数の時間帯別の推移を求める。図11に示すグラフは、受信情報解析部380における解析結果を基にして表示情報生成部350により生成された上でモニタ450に表示される。
図11では、例えば開店時刻である10:00〜閉店時刻である21:00までの、入店人数(合計)と、入店人数(前年合計)と、退店人数(合計)と、退店人数(前年合計)と、入店人数(B2F:地下2階)と、退店人数(B2F:地下2階)と、入店人数(B1F:地下1階)と、退店人数(B1F:地下1階)と、入店人数(1F:1階)と、退店人数(1F:1階)と、入店人数(2F:2階)と、退店人数(2F:2階)とにおける1時間別の計測結果の推移が示されている。図11では、例えば主婦層が夕飯のおかず等のタイムセールが実施された14:00〜15:00の間、多く入店、退店した事が示されている。これにより、ラインLNEを含む人物計測領域がカメラ装置の画角内に適切に設定されることで、店舗の効率的な運営に関する指標が得られ、店員のマーケティングの分析業務に資することができる。また、ショップ間の来店客の流れも把握できるので、人気のあるショップに隣接又は周囲にどのようなショップを配置すれば良いかのレイアウトの検討も効率化可能となる。
図12は、サーバ装置の表示画像生成部により生成された店舗Aの動線分析画像を含む運用画面の一例を示す図である。図12に示す運用画面は、表示情報生成部350によってモニタ450に表示される。
図12に示す運用画面では、左側の表示領域L1には、店舗内に設置されたカメラ装置の選択画面の一覧が階層的に表示されている。例えば、フロア1(1F)の食料品売場(識別番号:G1)では、北入口カメラC1A(識別番号:C1)、北入口カメラC1B(識別番号:C2)、レジ前カメラC2A(識別番号:C3),レジ前カメラC2B(識別番号:C4)、野菜売場カメラC6(識別番号:C5)、魚売場カメラC5(識別番号:C6)、肉売場カメラC4(識別番号:C7)、特売品カメラC3(識別番号:C8)が階層的に示されている。フロア2(2F)の衣料品売場その他の売場において同様であるため、説明を省略する。
また、図12に示す運用画面では、右側の表示領域R1には、メイン(例えば現在)の動線分析情報の表示領域MA1とサブ(例えば比較用)の動線分析情報の表示領域CE1とが表示されている。
動線分析情報の表示領域MA1には、サーバ装置300が閲覧対象の動線分析画像を生成した指定時刻(年月日を含む)と、例えば半日単位、1日単位、1週間単位又は1箇月単位を示す統計期間と、表示領域L1において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域MA1aと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示G(グループ)と、売場毎の来店者数の表示領域CT1とを含む動線分析結果表示領域MA1bとが表示される。
動線分析画像の映像表示種別には、図12に示す人物の滞留情報が示された滞留マップと、人物の通過情報が示されたカウントマップと、撮像画像そのものとが含まれる。売場毎の来店者数の表示領域CT1には、時系列(例えば図12では1時間毎)に通過滞留判定部33により検出された人物の検出数が示される。例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT1に表示された選択バーKRを時間軸方向にシフトすると、表示情報生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に表示する。
また同様に、サブの動線分析情報の表示領域CE1には、メインの動線分析情報の表示領域MA1の比較対象としてサーバ装置300が閲覧対象の動線分析画像を生成した指定時刻(年月日を含む)と、例えば半日単位、1日単位、1週間単位又は1箇月単位を示す統計期間と、メインの動線分析情報の表示領域MA1において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域CE1aと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示G(グループ)と、売場毎の来店者数の表示領域CT2とを含む動線分析結果表示領域CE1bとが表示される。なお、サブの動線分析情報の表示領域CE1を用いる場合には、例えば店舗内のレイアウトの変更の前後の比較以外に、割引シールを商品に貼付した前後の比較、タイムセールの前後の比較、今日と一年前の同日との比較、店舗間(例えば店舗Aの肉売場と店舗Bの肉売場との比較)等の用途が含まれてもよい。
売場毎の来店者数の表示領域CT2には、時系列(例えば図12では1時間毎)に通過滞留判定部33により検出された人物の検出数が示される。例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT2に表示された選択バーKRを時間軸方向にシフトすると、表示情報生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に再生して表示する。
また、メイン(例えば現在)の動線分析情報の表示領域MA1の売場毎の来店者数の表示領域CT1とサブ(例えば比較例)の動線分析情報の表示領域CE1の売場毎の来店者数の表示領域CT2とにおいて、入力デバイス400は、ユーザの入力操作により、時間軸上の特定の時間帯を指定してコメント(例えばタイムセール、3Fイベント、TV放映、隣のドームで試合等)を入力することができる。
図13は、サーバ装置の表示画像生成部により生成された2014年5月度の店舗Aの食料品売場における月例報告書の運用画面の一例を示す図である。本実施の形態の動線分析レポートの一例としての月例報告書(図13参照)は、図12に示す運用画面の左側の表示領域L1の下部に設けられたレポート出力ボタンOPTが入力デバイス400により押下されると、表示情報生成部350が生成してモニタ450に表示した画面である。なお、サーバ装置300の表示情報生成部350は、図12に示す月例報告書又はその一部の情報(例えば食料品売場のうちの肉売場における月例報告書)を、店舗Aに設置されたプリンタ(不図示)に出力してもよい。これにより、店舗Aの店員は、来店客が映っていない動線分析画像が出力された内容で、例えば食料品売場全体又はその一部の肉売場における月例報告書のプリントアウトの配布を受けることができる。
図13に示す月例報告書(動線分析レポート)の運用画面RPTでは、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報に関する表示領域SR1と、店舗(例えば店舗A)の来店者数等の統計情報に関する表示領域CR1と、所定のイベントの一例として売場のレイアウトの変更の発生前後において表示情報生成部350が生成したそれぞれの動線分析画像HM5,HM6の表示領域と、売場毎の来店者数の表示領域CT5,CT6とが示されている。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、例えば運営本部のサーバ装置600から該当する店舗(例えば店舗A)内のサーバ装置(例えばサーバ装置300)に送信される。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、店舗内のサーバ装置300又は記憶部(不図示)に予め記憶されてもよい。
図13に示す月例報告書の運用画面RPTでも、図12と同様に、例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT5,CT6に表示された選択バーKRを時間軸方向にシフトすると、表示情報生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に表示する。
以上により、本実施の形態の動線分析システム500Aでは、1つ以上のカメラ装置100とサーバ装置300とが相互に接続され、サーバ装置300は、カメラ装置100により撮像された撮像映像をモニタ450に表示する。サーバ装置300は、モニタ450に表示された撮像映像に映し出される出入口(例えば自動ドアDOR)の位置を示す位置情報(第1パラメータ)が入力されると、入力された自動ドアDORの位置情報に基づいて、自動ドアDORを通過する1人以上の人数を計測するための人数計測領域の画像(例えばラインLNEの画像)を生成して撮像映像に重畳してモニタ450に表示する。サーバ装置300は、人数計測領域に関する情報をカメラ装置100に送信する。カメラ装置100は、サーバ装置300から送信された人数計測領域に関する情報(パラメータ)を設定し、撮像映像に対して設定された人数計測領域に基づいて、人数計測領域を通過する人物の人数を計測し、一定期間分の撮像映像と人数計測領域を通過する人物の人数の計測結果とを対応付けてサーバ装置300に送信する。
これにより、本実施の形態の動線分析システム500Aによれば、人数計測領域(例えばラインLNE、人物検知領域CMSK1、ドアマスク領域DMSK1)の設定作業の経験が豊富な熟練者であるか否かに拘わらず、カメラ装置100の撮像映像内への人数計測領域の設定を手軽に行うことができ、作業者の使い勝手を向上できる。
また、本実施の形態では、サーバ装置300は、入力デバイス400を使用するユーザの簡単な操作により、設定された人物計測領域の画像を出力して解析結果蓄積部345に保存する事ができる。人物計測領域の画像には、例えばラインLNEを挟んだ方向(例えば上下方向、左右方向等)を示す文字画像(IN、OUT)を含んでよい。これは、初期設定(図7参照)の後、ラインLNEの位置の適正判断に参照可能となる。例えばショップ間に設定されるラインの場合、設定を行うユーザが実際の撮像画像(撮像映像)を見て、人物の移動方向を確認しながらラインLNEの位置の適否を判断する。上述した文字画像を含むラインLNEの画像は、この時の参考に資する事が可能となる。また、カメラ装置100の施工業者に対して、ショッピングモール(店舗)側がラインLNEの初期設定(図7参照)後に歩行テスト又は実運用の後、カメラ装置100における人物の人数計測の精度が思ったより良くないと指摘がある事も想定される。この場合、ラインLNEの画像に上述した文字画像があると、施工業者がカメラ装置100の設置適否、並びにラインLNEの位置適否を的確に判断できる。
また、サーバ装置300は、撮像画像(撮像映像)の周囲に自動ドアDORの位置を入力するための複数の位置選択アイコン(具体的には、コントロールボックスLR1〜LR8)が配置されたライン・マスク簡単設定画面STG1をモニタ450に表示する。入力デバイス400を使用するユーザの簡単な操作により、複数のコントロールボックスLR1〜LR8のうちいずれかのコントロールボックスの選択に応じて、自動ドアDORの位置が入力される。これにより、サーバ装置300は、入力デバイス400を使用するユーザの簡単な操作により、適切な位置(例えば自動ドアDORの付近)にラインLNEを描画できる。
また、人数計測領域は、自動ドアDOR(出入口)を通過する人数を計測するためのラインLNE、ラインLNEを含む第1所定範囲の大きさを有する人物検知領域CMSK1、及び自動ドアDOR(出入口)を含む第2所定範囲の大きさを有するドアマスク領域DMSK1のうち少なくとも1つを含む。これにより、入力デバイス400を使用するユーザの簡単な操作により、人数を計測するための指標となる領域として、人物が単に跨いだかどうかを簡単に判別可能とするラインLNE、ラインLNEを覆うようにラインLNEの近・BR>ュに通過した人物を計測対象とする人物検知領域CMSK1、及び、定常的に動く物体(例えば自動ドアDOR)を人数の計測対象から省くためのドアマスク領域DMSK1を適切に設定できる。
また、サーバ装置300は、入力デバイス400を使用するユーザの簡単な操作により、人数計測領域の画像を複数生成し、それぞれの人数計測領域の画像を撮像映像に重畳してモニタ450に表示する。これにより、サーバ装置300は、ユーザが気になる人物通過位置毎に簡易に、ラインLNE、人物検知領域CMSK1やドアマスク領域DMSK1等の人数計測領域を複数設定できる。
また、サーバ装置300は、入力デバイス400を使用するユーザの簡単な操作(例えばドラッグ操作)により、人数計測領域の位置を調整するための位置(例えば座標、第2パラメータの一例)が入力されると、入力された位置(座標)に基づいて、撮像映像に重畳して表示された人数計測領域の位置を更新できる。
また、本実施の形態のカメラ装置100は、サーバ装置300と相互に接続され、撮像エリアの撮像映像に映し出される出入口(例えば自動ドアDOR)を通過する1人以上の人数を計測するための人数計測領域に関する情報をサーバ装置300から取得し、取得された人数計測領域に関する情報を用いて、撮像映像における人数計測領域を設定する。また、カメラ装置100は、撮像映像に対して設定された人数計測領域に基づいて、人数計測領域を通過する人物の人数を計測し、一定期間分の撮像映像と人数計測領域を通過する人物の人数の計測結果とを対応付けてサーバ装置300に送信する。
これにより、カメラ装置100は、画角(つまり、映像の撮像範囲)内に設定された人数計測領域を通過する人物の人数を的確に計測でき、撮像エリアの監視用途又は人数の推移に基づくマーケティングの分析用途に資することができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述実施形態における各構成要素を任意に組み合わせてもよい。
本発明は、対象領域に映る顧客全体ではなく一人一人の顧客毎の動線情報のきめ細かい分析を行い、店舗側が真に求める顧客の店舗内における動向を適正に捉えた動線分析画像を効率的に得る動線分析システム及び動線分析方法として有用である。
10 撮像部
20 画像入力部
30 解析部
31 対象検出部
32 動線分析部
33 通過滞留判定部
40 動線分析情報蓄積部
45 パラメータ保存部
50 スケジュール管理部
60 送信部
70 イベント情報受領部
80 パラメータ受領部
90 パラメータ設定部
100 カメラ装置
300 サーバ装置
310 イベント情報受領部
320 通知部
330 受信部
340 受信情報蓄積部
345 解析結果蓄積部
350 表示情報生成部
360 パラメータ取得部
370 パラメータ通知部
380 受信情報解析部
400 入力デバイス
450 モニタ
500A、500B、500C 動線分析システム

Claims (9)

  1. カメラ装置により撮像された撮像エリアの撮像映像を表示部に表示し、
    前記表示部に表示された前記撮像映像に映し出される出入口の位置を示す第1パラメータが入力されると、入力された前記第1パラメータに基づいて、前記出入口を通過する1人以上の人数を計測するための人数計測領域の画像を生成して前記撮像映像に重畳して前記表示部に表示し、
    前記人数計測領域に関する情報を前記カメラ装置に送信して設定する、
    人数計測領域設定方法。
  2. 前記撮像映像の周囲に前記第1パラメータを入力するための複数の位置選択アイコンが配置された第1設定画面を前記表示部に表示し、
    前記複数の位置選択アイコンのうちいずれかの位置選択アイコンの選択に応じて、前記第1パラメータを入力する、
    請求項1に記載の人数計測領域設定方法。
  3. 前記人数計測領域は、前記出入口を通過する人数を計測するためのライン、前記ラインを含む第1所定範囲の大きさを有する人物検知領域、及び前記出入口を含む第2所定範囲の大きさを有するマスク領域のうち少なくとも1つを含む、
    請求項1又は2に記載の人数計測領域設定方法。
  4. 前記人数計測領域の画像を複数生成し、
    それぞれの前記人数計測領域の画像を前記撮像映像に重畳して前記表示部に表示する、
    請求項1〜3のうちいずれか一項に記載の人数計測領域設定方法。
  5. 前記人数計測領域の位置を調整する第2パラメータが入力されると、入力された前記第2パラメータに基づいて、前記撮像映像に重畳して表示された前記人数計測領域の位置を更新する、
    請求項1〜4のうちいずれか一項に記載の人数計測領域設定方法。
  6. コンピュータであるサーバ装置に、
    カメラ装置により撮像された撮像エリアの撮像映像を表示部に表示するステップと、
    前記表示部に表示された前記撮像映像に映し出される出入口の位置を示す第1パラメータが入力されると、入力された前記第1パラメータに基づいて、前記出入口を通過する1人以上の人数を計測するための人数計測領域の画像を生成して前記撮像映像に重畳して前記表示部に表示するステップと、
    前記人数計測領域に関する情報を前記カメラ装置に送信して設定させるステップと、を実行させるための、
    人数計測領域設定プログラム。
  7. カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、
    前記サーバ装置は、
    前記カメラ装置により撮像された撮像映像を表示部に表示し、
    前記表示部に表示された前記撮像映像に映し出される出入口の位置を示す第1パラメータが入力されると、入力された前記第1パラメータに基づいて、前記出入口を通過する1人以上の人数を計測するための人数計測領域の画像を生成して前記撮像映像に重畳して前記表示部に表示し、
    前記人数計測領域に関する情報を前記カメラ装置に送信し、
    前記カメラ装置は、
    前記サーバ装置から送信された前記人数計測領域に関する情報を設定し、
    前記撮像映像に対して設定された前記人数計測領域に基づいて、前記人数計測領域を通過する人物の人数を計測し、
    一定期間分の前記撮像映像と前記人数計測領域を通過する人物の人数の計測結果とを対応付けて前記サーバ装置に送信する、
    動線分析システム。
  8. サーバ装置と相互に接続されたカメラ装置であって、
    撮像エリアを撮像する撮像部と、
    前記撮像エリアの撮像映像に映し出される出入口を通過する1人以上の人数を計測するための人数計測領域に関する情報を前記サーバ装置から取得する取得部と、
    取得された前記人数計測領域に関する情報を用いて、前記撮像映像における前記人数計測領域を設定する設定部と、 前記撮像映像に対して設定された前記人数計測領域に基づいて、前記人数計測領域を通過する人物の人数を計測する計測部と、
    一定期間分の前記撮像映像と前記人数計測領域を通過する人物の人数の計測結果とを対応付けて前記サーバ装置に送信する送信部と、を備える、
    カメラ装置。
  9. サーバ装置と相互に接続された、コンピュータであるカメラ装置に、
    撮像エリアを撮像するステップと、
    前記撮像エリアの撮像映像に映し出される出入口を通過する1人以上の人数を計測するための人数計測領域に関する情報を前記サーバ装置から取得するステップと、
    取得された前記人数計測領域に関する情報を用いて、前記撮像映像における前記人数計測領域を設定するステップと、 前記撮像映像に対して設定された前記人数計測領域に基づいて、前記人数計測領域を通過する人物の人数を計測するステップと、
    一定期間分の前記撮像映像と前記人数計測領域を通過する人物の人数の計測結果とを対応付けて前記サーバ装置に送信するステップと、を実行させるための、
    人数計測プログラム。
JP2016256843A 2016-12-28 2016-12-28 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム Active JP6803749B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016256843A JP6803749B2 (ja) 2016-12-28 2016-12-28 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム
US15/851,201 US10546199B2 (en) 2016-12-28 2017-12-21 Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016256843A JP6803749B2 (ja) 2016-12-28 2016-12-28 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム

Publications (2)

Publication Number Publication Date
JP2018110303A true JP2018110303A (ja) 2018-07-12
JP6803749B2 JP6803749B2 (ja) 2020-12-23

Family

ID=62629930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016256843A Active JP6803749B2 (ja) 2016-12-28 2016-12-28 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム

Country Status (2)

Country Link
US (1) US10546199B2 (ja)
JP (1) JP6803749B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086860A (ja) * 2018-11-22 2020-06-04 株式会社リコー 管理システム、情報処理システム、情報処理方法およびプログラム
JP2020149544A (ja) * 2019-03-15 2020-09-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021064035A (ja) * 2019-10-10 2021-04-22 株式会社日立製作所 購買促進システムおよび購買促進方法
JP6912842B1 (ja) * 2020-11-11 2021-08-04 株式会社バカン 情報処理装置、情報処理方法、及び情報処理プログラム
JP7382517B1 (ja) 2022-08-03 2023-11-16 セーフィー株式会社 システムおよびプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7056673B2 (ja) * 2018-01-29 2022-04-19 日本電気株式会社 処理装置、処理方法及びプログラム
US20220343743A1 (en) * 2019-08-22 2022-10-27 Nec Corporation Display control apparatus, display control method, and program
US11475640B2 (en) * 2020-02-28 2022-10-18 Manuel Martinello Detection-area fencing with polarity and object ingress/egress monitoring
US11556098B2 (en) 2020-02-28 2023-01-17 Ricoh Company, Ltd. Tracking conditions concerning an area to automatically generate artificial intelligence based responsive actions
CN111510683A (zh) * 2020-04-26 2020-08-07 西安工业大学 一种图像传输装置及其图像数据处理方法
CN112070791B (zh) * 2020-09-21 2024-06-14 深圳喜为智慧科技有限公司 一种提升畜牧个体点数精度和效率的方法和***
CN113486747A (zh) * 2021-06-25 2021-10-08 深圳市易成自动驾驶技术有限公司 人流量公示方法、装置、设备、可读存储介质及程序产品
CN115937791B (zh) * 2023-01-10 2023-05-16 华南农业大学 一种适用于多种养殖模式的家禽计数方法及其计数装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005129003A (ja) * 2003-06-09 2005-05-19 Hitachi Kokusai Electric Inc 変化検出装置
JP2011234237A (ja) * 2010-04-28 2011-11-17 Canon Inc カメラ制御装置及びカメラシステム
JP2012048476A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置
JP2015127940A (ja) * 2014-08-07 2015-07-09 パナソニックIpマネジメント株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015203912A (ja) * 2014-04-11 2015-11-16 パナソニックIpマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3353955B2 (ja) * 1993-08-13 2002-12-09 フクダ電子株式会社 関心領域の形状変更方法
US7397929B2 (en) * 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
US8799013B2 (en) * 2009-11-24 2014-08-05 Penrad Technologies, Inc. Mammography information system
JP5715863B2 (ja) 2011-03-25 2015-05-13 セコム株式会社 画像処理装置
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
JP6184271B2 (ja) * 2013-09-19 2017-08-23 キヤノン株式会社 撮像管理装置、撮像管理システムの制御方法およびプログラム
JP5838371B1 (ja) 2014-06-30 2016-01-06 パナソニックIpマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005129003A (ja) * 2003-06-09 2005-05-19 Hitachi Kokusai Electric Inc 変化検出装置
JP2011234237A (ja) * 2010-04-28 2011-11-17 Canon Inc カメラ制御装置及びカメラシステム
JP2012048476A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置
JP2015203912A (ja) * 2014-04-11 2015-11-16 パナソニックIpマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
JP2015127940A (ja) * 2014-08-07 2015-07-09 パナソニックIpマネジメント株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086860A (ja) * 2018-11-22 2020-06-04 株式会社リコー 管理システム、情報処理システム、情報処理方法およびプログラム
JP2020149544A (ja) * 2019-03-15 2020-09-17 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP7313850B2 (ja) 2019-03-15 2023-07-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021064035A (ja) * 2019-10-10 2021-04-22 株式会社日立製作所 購買促進システムおよび購買促進方法
JP7227884B2 (ja) 2019-10-10 2023-02-22 株式会社日立製作所 購買促進システムおよび購買促進方法
JP6912842B1 (ja) * 2020-11-11 2021-08-04 株式会社バカン 情報処理装置、情報処理方法、及び情報処理プログラム
JP2022077257A (ja) * 2020-11-11 2022-05-23 株式会社バカン 情報処理装置、情報処理方法、及び情報処理プログラム
JP7382517B1 (ja) 2022-08-03 2023-11-16 セーフィー株式会社 システムおよびプログラム
JP2024022440A (ja) * 2022-08-03 2024-02-16 セーフィー株式会社 システムおよびプログラム

Also Published As

Publication number Publication date
US20180181815A1 (en) 2018-06-28
US10546199B2 (en) 2020-01-28
JP6803749B2 (ja) 2020-12-23

Similar Documents

Publication Publication Date Title
JP6803749B2 (ja) 人数計測領域設定方法、人数計測領域設定プログラム、動線分析システム、カメラ装置及び人数計測プログラム
US10956722B2 (en) Moving information analyzing system and moving information analyzing method
US9948901B2 (en) Moving information analyzing system, camera, and moving information analyzing method
JP5915960B1 (ja) 動線分析システム及び動線分析方法
US10497130B2 (en) Moving information analyzing system and moving information analyzing method
US20170193309A1 (en) Moving information analyzing system and moving information analyzing method
WO2016203678A1 (ja) 動線分析システム及び動線表示方法
WO2016194275A1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6226308B1 (ja) 動線分析システム及び動線分析方法
JP6485707B2 (ja) 動線分析システム及び動線分析方法
JP2017123024A (ja) 動線分析システム及び動線分析方法
JP5909709B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
US20190392661A1 (en) Facility operation assistance system, facility image capture device, and facility operation assistance method
JP5909712B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6226309B1 (ja) 動線分析システム及び動線分析方法
JP5909710B1 (ja) 動線分析システム、カメラ装置及び動線分析方法
WO2016189785A1 (ja) 動線分析システム、カメラ装置及び動線分析方法
JP6421937B2 (ja) 動線分析システム及び動線分析方法
JP6421936B2 (ja) 動線分析システム及び動線分析方法
JP2016015716A (ja) 動線分析システム、カメラ装置及び動線分析方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201201

R150 Certificate of patent or registration of utility model

Ref document number: 6803749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250