JP6399096B2 - 情報処理装置、表示方法およびコンピュータプログラム - Google Patents

情報処理装置、表示方法およびコンピュータプログラム Download PDF

Info

Publication number
JP6399096B2
JP6399096B2 JP2016547695A JP2016547695A JP6399096B2 JP 6399096 B2 JP6399096 B2 JP 6399096B2 JP 2016547695 A JP2016547695 A JP 2016547695A JP 2016547695 A JP2016547695 A JP 2016547695A JP 6399096 B2 JP6399096 B2 JP 6399096B2
Authority
JP
Japan
Prior art keywords
information
movement
flow line
display
line information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016547695A
Other languages
English (en)
Other versions
JPWO2016038872A1 (ja
Inventor
明子 大島
明子 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016038872A1 publication Critical patent/JPWO2016038872A1/ja
Application granted granted Critical
Publication of JP6399096B2 publication Critical patent/JP6399096B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、対象物の移動経路を表示する技術に関する。
顧客の購買動向の把握や、従業員の業務効率化の検討などを目的として、店舗や倉庫等の内部において、人物がどのように行動しているかを調査することがある。人物の行動の調査には、人が携帯するRFID(Radio-frequency identification)タグや携帯電話のSIM(Subscriber Identity Module)カード番号等から得られる情報や、監視カメラ等が撮影するカメラ画像が利用される。
人物の行動を調査する場合には、例えば、人物の行動の軌跡を表す軌跡情報が取得される。この軌跡情報を分析することによって、顧客の購買行動を表す情報や、作業者の業務効率化に有効な情報が得られる。このような情報を得るために軌跡情報を分析者が短時間で容易に分析できる技術の需要は増大することが予測されている。
特許文献1には、店舗の特定領域(監視領域)に構築された動線認識システムで認識された客の動線データと、決済装置で処理されたその客の取引データとを関連付ける顧客動向収集方法が記載されている。
特許文献2には、セルフサービスエリアから商品を選び取るセルフサービス行動を途中で断念した人物の発生状況を収集する構成を備えた顧客行動分析装置が記載されている。
特許文献3には、入場者の移動、滞留の状況を予測する入場者の動線シミュレーション装置が記載されている。この動線シミュレーション装置は、入場者が最短経路またはメインストリートを選択する確率を矢印の太さで表す。
特開2011−170565号公報 特許第5356615号公報 特開平06−176004号公報
特許文献1に記載されている構成では、表示画面に表されている監視領域(動線領域)に、動線データに基づいた人物の動線が表示される。しかし、特許文献1の構成では、監視領域に複数の人物に関する動線を表示することは想定されていない。
つまり、特許文献1の構成では、人物の行動、動向を分析した結果を表示画面に表示する場合には、分析結果である人物の動線データは人物別に個々に表示される。このように動線データが人物別に個々に表示される場合、監視対象の領域内における複数の人物の行動分析結果を把握しづらいという課題がある。また、特許文献2に記載されている技術では、セルフサービス行動を途中で断念した人物(中断人物)の発生状況を分析した結果が表示されるが、その中断人物の移動経路は表示されない。さらに、特許文献3に記載されている技術では、入場者が実際にどのように行動したかを表す動線を表示することが想定されていない。
本発明の主な目的は、監視する対象物の行動(移動)状況を例えば分析者が把握しやすい表示態様でもって表示する技術を提供することにある。
上記目的を達成するために、本発明の情報処理装置は、
監視する対象物の動きに関する情報に基づいて、複数の前記対象物を、設定された移動経路ごとに分類する検知手段と、
表示画面を備える表示装置の前記表示画面に、前記対象物の動きが前記移動経路ごとに矢印でもって表示されるように前記表示装置を制御する表示制御手段と
を備え、
前記表示制御手段により表示される前記矢印の軸は、対応する前記移動経路に分類された前記対象物の数に応じた太さを持ち、かつ、対応する前記移動経路に分類された前記対象物の軌跡に応じた形状を持ち、さらに、前記矢印の向きは、前記対象物の進行方向を表している。
また、本発明の表示方法は、
監視する対象物の動きに関する情報に基づいて、複数の前記対象物を、設定された移動経路ごとに分類し、
表示画面を備える表示装置の前記表示画面に、前記対象物の動きが前記移動経路ごとに矢印でもって表示されるように、かつ、その表示される前記矢印の軸は、対応する前記移動経路に分類された前記対象物の数に応じた太さを持ち、また、対応する前記移動経路に分類された前記対象物の軌跡に応じた形状を持ち、さらに、前記矢印の向きは、前記対象物の進行方向を表すように、前記表示装置を制御する。
さらに、本発明のプログラム記憶媒体は、
コンピュータに、
監視する対象物の動きに関する情報に基づいて、複数の前記対象物を、設定された移動経路ごとに分類する処理と、
表示画面を備える表示装置の前記表示画面に、前記対象物の動きが前記移動経路ごとに矢印でもって表示されるように、かつ、その表示される前記矢印の軸は、対応する前記移動経路に分類された前記対象物の数に応じた太さを持ち、また、対応する前記移動経路に分類された前記対象物の軌跡に応じた形状を持ち、さらに、前記矢印の向きは、前記対象物の進行方向を表すように、前記表示装置を制御する処理と
を実行させるコンピュータプログラムが記憶されている。
なお、本発明の上記主な目的は、本発明の情報処理装置に対応する本発明の表示方法によっても達成される。また、本発明の上記主な目的は、本発明の情報処理装置および本発明の表示方法に対応するコンピュータプログラム、それを記憶するプログラム記憶媒体によっても達成される。
本発明によれば、監視する対象物の行動(移動)状況を例えば分析者が把握しやすい表示態様でもって表示できる。
本発明に係る第1実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第1実施形態の情報処理装置による分析結果の表示例を表す図である。 第1実施形態の情報処理装置における分析処理の動作例を表すフローチャートである。 本発明に係る第2実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第2実施形態の情報処理装置による分析結果の表示例を説明する図である。 対象物の移動経路を動画でもって表す表示例を説明する図である。 複数の移動経路の表示例を説明する図である。 複数の移動経路の別の表示例を説明する図である。 第2実施形態の情報処理装置における分析結果の動作例を表すフローチャートである。 本発明に係る情報処理装置のハードウェア構成の一例を説明する図である。 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。
以下に、本発明に係る実施形態を図面を参照しながら説明する。
<第1実施形態>
[構成の説明]
図1は、本発明に係る第1実施形態の情報処理装置を備えた行動分析システムの構成を簡略化して表すブロック図である。なお、図中の矢印の方向は、一例を表すものであり、ブロック間の信号の向きを限定するものではない。
この行動分析システム1は、フロア内における人物の行動を分析する使用目的でもって構築される。当該行動分析システム1は、情報処理装置10と、カメラ20と、表示装置30とを備えている。
カメラ20は、監視対象のフロアを撮影可能な状態で設置されている。このカメラ20は、撮影画像を情報処理装置10に送信する機能を備えている。表示装置30は、表示画面(ディスプレイ)を備え、情報処理装置10の制御動作により情報を表示する機能を備えている。
情報処理装置10は、カメラ20により撮影された画像を利用して、フロア内の人物の行動を分析し、この分析結果を表示装置30に表示させる機能を備えている。図10には、情報処理装置10のハードウェア構成の一例がカメラ20および表示装置30と共に表されている。この図10の例では、情報処理装置10は、CPU(Central Processing Unit)300と、メモリ310と、入出力IF(InterFace)320と、通信部330とを備えている。これらはバス340により相互に接続されている。
入出力IF320は、表示装置30などの周辺機器との情報通信を可能にする構成を備えている。通信部330は、予め設定された通信手法(例えば無線LAN(Local Area Network)等の無線通信や、情報通信網(例えばインターネット)を介した通信)により、例えばカメラ20との通信を可能にする構成を備えている。
メモリ310は、データやコンピュータプログラム(以下、略してプログラムとも記す)を記憶する記憶媒体(記憶装置)である。例えば、メモリ310には、情報処理装置10の動作を制御するプログラムが格納される。なお、そのプログラムは、例えば、可搬型記憶媒体に格納されており、当該可搬型記憶媒体からメモリ310に書き込まれてもよいし、情報通信網を通して情報処理装置10に供給されメモリ310に書き込まれてもよい。
CPU300は、メモリ310に格納されているプログラムを読み出し、当該プログラムを実行することにより、様々な機能を実現することができる。この第1実施形態では、情報処理装置10は、CPU300によって、次のような機能を実現する。
すなわち、情報処理装置10は、機能部として、図1に表されるような追跡部100と、検知部101と、方向算出部102と、時間算出部103と、累積部104と、表示制御部105とを備えている。
追跡部100は、カメラ20から受信した撮影画像(撮影(監視)対象のフロアを撮影している映像(以下、フロア映像とも記す。))から監視の対象物である人物を例えば画像処理により検出する機能を有する。
なお、この第1実施形態で説明する行動分析システム1は、人物の行動ではなく、物体の動きを分析する物体動作分析システムとして使用してもよい。第1実施形態における行動分析システム1をそのように物体動作分析システムとして使用する場合には、追跡部100は、カメラ20によるフロア映像から、人物ではなく、監視対象物に設定された物体を検知する。
また、追跡部100は、撮影画像(動画)における各フレームにおいて、検知した人物の位置情報を画像処理により取得する機能を備える。さらに、追跡部100は、取得した人物の位置情報を時系列に並べることによって、人物の追跡情報を生成する機能を備える。その追跡情報とは、検知された人物の識別に関わる情報および当該人物の位置情報に、時間を表す情報(例えば、フレームを識別する情報や、時刻情報や、順番を表す情報)が関連付けられている情報である。
検知部101は、生成された追跡情報を人物ごとに分類する機能を有する。すなわち、検知部101は、追跡部100から追跡情報を受け取ると、当該追跡情報から、人物の識別に関わる情報を取得する。
そして、検知部101は、その取得した情報に基づいて、追跡情報を人物ごとに分類する。さらに、検知部101は、人物ごとに分類された追跡情報を、方向算出部102と時間算出部103に向けて出力する。
なお、上記の説明は、監視対象のフロアにおいて、人物が1回移動することを前提にしている。例えば、対象フロアを移動する人物が1人で、その人物が複数回移動することが予め分かっている場合には、検知部101は、追跡情報を、例えば1回目の移動、2回目の移動のように、各回の移動ごとに分類してもよい。
方向算出部102は、追跡情報に基づいて方向情報を生成する機能を有する。方向情報とは、撮影画像から検知された人物の移動方向に関わる情報である。
すなわち、方向算出部102は、人物ごとに分類された追跡情報を受け取ると、時間的および空間的に連続する追跡情報を関連付ける。そして、方向算出部102は、その関連付けられた追跡情報に基づいて、撮影画像から検知された人物の移動に関する情報(ここでは、フロア内の移動の起点情報、および、移動の進行方向情報)を算出する。方向算出部102は、その算出した情報が含まれる方向情報を累積部104に向けて出力する。
時間算出部103は、追跡情報から時間情報を生成する機能を有する。時間情報とは、撮影画像から検知された人物の移動に関わる時間の情報である。
すなわち、時間算出部103は、検知部101から人物ごとに分類された追跡情報を受け取ると、当該追跡情報に基づいて、人物ごとに、監視対象のフロア内における移動時間を算出する。そして、時間算出部103は、算出した移動時間が含まれる時間情報を累積部104に向けて出力する。
累積部104は、次のような動線データの数を計数する機能を有する。動線データとは、撮影画像から検知された人物の移動の起点情報、進行方向情報および移動時間を含む情報である。
すなわち、累積部104は、方向算出部102から方向情報を受け取り、また、時間算出部103から時間情報を受け取る。
累積部104は、受け取った方向情報と時間情報に基づいて、動線データを生成する。そして、累積部104は、監視対象のフロアにおいて同様な進行方向情報を含む動線データの数を計数する。その後、累積部104は、その計数によるデータ数と、その計数された動線データとを関連付け、当該関連付けられた情報を分析結果として表示制御部105に向けて出力する。
表示制御部105は、分析結果を表示装置30に表示させる機能を有する。その分析結果とは、上記の如く、累積部104により計測された同様な進行方向情報を含む動線データの数、および、その動線データとが関連付けられた情報であり、人物の移動傾向を表す。
図2は、表示制御部105による分析結果の表示例を表す図である。
図2に表される分析結果301〜303は、店舗内における顧客の移動傾向に関する情報である。表示制御部105は、分析結果301〜303が図2に表されるように店舗におけるフロアの平面図に表示されるように、表示装置30を制御する。
この例では、分析結果301〜303は、表示制御部105によって、矢印でもって表示される。矢印の向きは、分析結果301〜303に含まれている進行方向情報(人物の移動方向)に応じている。矢印の軸の太さは、分析結果301〜303に含まれている累積部104によるデータ数(人物の数)に応じている。矢印の軸の長さは、分析結果301〜303に含まれる時間情報(人物の移動時間(例えば、進行(移動)方向が同様な複数の人物の移動時間の平均値))に応じている。なお、人物の移動時間は、他の手法により表示されてもよい。
また、図2の例では、分析結果301〜303を表す各矢印の始点の位置が、起点501に揃えられている。この矢印の始点の位置は、人物の移動の起点位置に対応している。
なお、図2に表される表示例は一例であり、分析結果301〜303は、累積部104の計数によるデータ数と、このデータ数に関連付けられている動線データとが併せて表示されれば、他の表示態様でもって表示されてもよい。
なお、第1実施形態では、情報処理装置10における上記機能が、プログラムに従って処理を実行するCPUによって実現される例が説明されている。これに代えて、情報処理装置10の各機能は、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。
[動作の説明]
以下、第1実施形態の情報処理装置10の動作例を図3のフローチャートを参照して説明する。図3は、情報処理装置10による人物行動分析処理の動作例を表すフローチャートである。なお、図3に表されるフローチャートは、CPUが実行する処理手順を表している。
追跡部100は、カメラ20から撮影映像(フロア映像)を受け取ると、このフロア映像から例えば画像処理により人物を検知する(ステップS101)。
その後、追跡部100は、各フレームにおける検出した人物の位置情報を算出する。そして、追跡部100は、算出された位置情報に基づいて追跡情報を生成する(ステップS102)。追跡部100は、生成された追跡情報を、検知部101に向けて出力する。
検知部101は、受け取った追跡情報を、人物ごとに分類する(ステップS103)。そして、検知部101は、人物ごとに分類された追跡情報を、方向算出部102と時間算出部103に向けて出力する。
方向算出部102は、入力された追跡情報に基づいて、方向情報(フロア内の移動の起点情報および移動の進行方向情報が含まれる情報)を生成する(ステップS104)。その後、方向算出部102は、その生成した方向情報を累積部104に向けて出力する。
一方、時間算出部103は、受け取った追跡情報に基づいて、時間情報(人物のフロア内における人物の移動時間が含まれる情報)を生成する(ステップS105)。そして、時間算出部103は、生成した時間情報を累積部104に向けて出力する。
累積部104は、受け取った方向情報と時間情報に基づいて動線データを生成する。その後、累積部104は、方向情報に基づいて、監視対象のフロアにおける同様な進行方向情報を含む動線データの数を計数(算出)する(ステップS106)。累積部104は、その計数したデータ数と、計数された動線データとを関連付け、当該情報を分析結果として表示制御部105に向けて出力する。
表示制御部105は、受け取った分析結果を表示装置30に表示させる(ステップS107)。
第1実施形態における情報処理装置10は、表示制御部105によって、分析結果に含まれる複数の情報(つまり、同様な進行方向情報を含む動線データの数と、その動線データに含まれる方向情報と時間情報)を併せて表示装置30に表示させる。すなわち、情報処理装置10は、店内や倉庫内等の監視対象のエリア内における人物の行動分析結果に含まれる複数の情報(例えば、人物の移動方向、移動時間、人数等の属性情報)を、使用者が容易に把握できる表示態様でもって表示できる。
よって、第1実施形態における情報処理装置10の使用者は、監視対象のフロア内における各進行方向に向かう人数の比率を容易に確認できる。また、使用者は、店舗における顧客動向や、倉庫における従業員の作業の行動傾向を容易に把握できる。
<第2実施形態>
[構成の説明]
以下に、本発明に係る第2実施形態を図面を参照して説明する。なお、この第2実施形態の説明において、第1実施形態の情報処理装置およびそれを備えたシステムを構成する構成部分と同一構成部分には同一符号を付し、その共通部分の重複説明は省略する。
この第2実施形態では、第1実施形態と同様に、フロア内における人物の行動を分析する行動分析システム1に備えられる情報処理装置20について説明する。ただし、第1実施形態の説明でも述べたと同様に、この第2実施形態における行動分析システム1も、人物行動ではなく、物体の動きを分析する物体動作分析システムとして使用してもよい。この場合には、追跡部100は、カメラ20によるフロア映像から人物ではなく、監視対象に設定された物体を検知する。
図4は、第2実施形態の情報処理装置の構成例を簡略化して表すブロック図である。なお、図中の矢印の方向は、一例を表すものであり、ブロック間の信号の向きを限定するものではない。
この第2実施形態の情報処理装置10は、第1実施形態の情報処理装置10と同様に、人物の行動の分析結果を矢印の向きと軸の太さと軸の長さを利用して表示装置30に表す構成を備えている。さらに、この第2実施形態の情報処理装置10は、表示装置30を利用して、人物の移動傾向(移動経路)を動画でもって表示させる構成をも備えている。すなわち、この第2実施形態では、情報処理装置10は、図10に表されるようなハードウェア構成を備える。当該情報処理装置10は、CPUにより実現される機能部として、追跡部100と、検知部101と、方向算出部102と、時間算出部103と、累積部104と、表示制御部105と、データ作成部201と、動画表示部202とを含む。以下では、主に、動画表示に関わる構成について説明する。
検知部101は、人物ごとに分類した追跡情報を方向算出部102と時間算出部103とデータ作成部201に向けて出力する。
データ作成部201は、受け取った追跡情報に基づいて表示データを生成する機能を有する。すなわち、データ作成部201は、追跡情報を受け取ると、当該追跡情報に基づいて、人物の移動に係る開始時刻と進行方向と終了時刻の情報を算出(検知)する。
そして、データ作成部201は、算出した情報に基づいて、表示データを生成する。その表示データは、人物の移動に関するデータであり、例えば、検知部101により検知された人物の位置を表す座標点と、時刻との組が時系列に並べられているデータである。その後、データ作成部201は、その生成した表示データを動画表示部202に向けて出力する。
動画表示部202は、データ作成部201から受け取った表示データに基づいて、人物の移動傾向を動画でもって表示させる機能を有する。
図5は、表示データに基づいた人物の移動傾向(動画)の表示例を説明する図である。
図5の例では、表示データに基づいた人物の移動傾向は、動線情報401〜404のように表される。例えば、図5における動線情報401〜404は、店舗内における監視対象のフロアの平面図に、顧客の移動傾向を表している。
図5の例では、動線情報401〜404は矢印により表されている。矢印の軸の長手方向の形状は、人物の移動の軌跡に応じている。矢印の向きは、人物の移動の進行方向に応じている。矢印の長さは、人物の移動時間に応じている。なお、図5の例では、動線情報401〜404を表す矢印の軸の太さは同様であるが、人物の移動傾向を動画で表示する場合にも、第1実施形態と同様に、その矢印の軸は、人数に応じた太さでもって表されてもよい。
動画表示部202は、図5に表されているような動線情報401〜404を次にように動画でもって表示する機能を持つ。例えば、図5における動線情報401を動画でもって表示する例を図6に表す。図6は、動画表示部202による動画の表示例を説明する図である。
例えば、動線情報401に表される人物の移動の始点はAであり、終点はBである。この終点Bは、図6の(a),(b),(c)の順に表されるように移動する。動画表示部202は、その始点Aから終点Bの移動の軌跡を描くように伸びていく矢印の様子を動画でもって表示装置30に表示させる。
すなわち、図6の(a)は、動画の開始直後に表示される動線情報401を表す矢印の様子を表す。つまり、動線情報401は、始点Aから少し伸びた矢印として表示されている。
図6の(b)は、動画が半分程度再生された頃に表示される動線情報401を表す矢印の様子を表す。
図6の(c)は、動画の終了直前に表示される動線情報401を表す矢印の様子を表す。
このように、動画表示部202は、図6の(a),(b),(c)の順に表されるように、終点Bの移動の軌跡を描くように矢印を伸ばしていくことによって、動線情報401を動画により表示装置30に表示させる。そして、動作表示部202は、終点Bが最終点に至ったところで動画の再生を終了する。
なお、動画表示部202による動線情報の動画による表示手法は、上記手法に限定されず、人物の移動の様子が分かれば、どのような表示方法を用いてもよい。
例えば、動画表示部202は、図5に表されているような複数の動線情報401〜404を動画によって表示装置30に表示させる機能を備えていてもよい。図7は、動画表示部202による動線情報401〜404を順に動画により表示装置30に表示させる順を説明する図である。
すなわち、図5における動線情報401〜404にそれぞれ表されている人物の移動は、動線情報401→動線情報402→動線情報403→動線情報404の順に行われているとする。この場合には、動画表示部202は、動線情報401〜404を表す矢印を時系列にその順番に従って表示装置30に表示させる。
つまり、動画表示部202は、最初に行われた人物の移動の様子を表す動線情報401に基づいた矢印の動きを、例えば図7における期間T1において、動画でもって表示装置30に表示させる。そして、動線情報401に基づいた動画表示が終了した後に、動画表示部202は、次に行われた移動の様子を示す動線情報402に基づいた矢印の動きを、例えば図7における期間T2において、動画でもって表示装置30に表示させる。
さらに、上記同様に、動線情報402に基づいた動画表示が終了した後に、動画表示部202は、次に行われた移動の様子を示す動線情報403に基づいた矢印の動きを、例えば図7における期間T3において、動画でもって表示装置30に表示させる。さらにまた、動線情報403に基づいた動画表示が終了した後に、動画表示部202は、次に行われた移動の様子を示す動線情報404に基づいた矢印の動きを、例えば図7における期間T4において、動画でもって表示装置30に表示させる。
各動線情報401〜404に基づいた矢印を動画表示している期間T1〜T4の時間長さは、各動線情報401〜404が表す人物の移動時間に応じている。なお、期間T1〜T4は、人物が実際に移動した時間と同じ時間の長さであってもよいし、予め設定された割合で短縮された時間でもよい。
図8は、動画表示部202によって動線情報401〜404を動画により表示装置30に表示させる別の例を説明する図である。図8の例では、動画表示部202は、異なる時間に開始された人物の移動を、同一時間に開始されたとして、動画により表示装置30に表示させる例を説明する図である。
すなわち、動線情報401〜404が表す人物の移動は、それぞれ異なる時間に開始されているとする。これに対し、動画表示部202は、動線情報401〜404の動画表示を、図8に表す期間T1〜T4に行う。すなわち、動画表示部202は、各動線情報401〜404の動画表示を、同一時間に開始する。つまり、動画表示部202は、動線情報401〜404を、一斉に動画でもって表示する。
なお、動線情報401〜404の動画表示を一斉に開始する場合においても、各動線情報401〜404に基づいて矢印を動かしている期間T1〜T4の時間長さは、各動線情報401〜404が表す人物の移動時間に応じている。なお、期間T1〜T4は、人物が実際に移動した時間と同じ時間の長さであってもよいし、予め設定された割合で短縮された時間でもよい。
第2実施形態の情報処理装置10における上記以外の構成は、第1実施形態と同様である。
[動作の説明]
以下に、第2実施形態の情報処理装置10の動作例を図9を参照して説明する。図9は、情報処理装置10による人物行動分析処理の動作例を表すフローチャートである。この図9のフローチャートは、情報処理装置10におけるCPUが実行する処理手順を表している。
例えば、追跡部100は、カメラ20から受け取った撮影画像(フロア映像)から人物を検知する(ステップS201)。
その後、追跡部100は、各フレームにおける検知した人物の位置情報を算出する。そして、追跡部100は、算出された各位置情報に基づいて、追跡情報を生成する(ステップS202)。追跡部100は、生成した追跡情報を検知部101に向けて出力する。
検知部101は、受け取った追跡情報を人物ごとに分類する(ステップS203)。その後、検知部101は、人物ごとに分類された追跡情報をデータ作成部201に向けて出力する。
データ作成部201は、受け取った人物ごとの追跡情報に基づいて、各人物の移動に関する表示データを生成する(ステップS204)。その後、データ作成部201は、生成した表示データを動画表示部202に向けて出力する。
動画表示部202は、受け取った表示データに基づいて、各人物の移動の様子(動線情報)を動画でもって表示装置30に表示させる(ステップS205)。
第2実施形態における情報処理装置10は、カメラ20の撮影画像から検知した人物の移動の様子を、動画表示部202によって動画でもって表示装置30に表示させる機能を備えている。
よって、情報処理装置10は、監視対象のフロア内における人物の移動を当該装置10の使用者に動的に把握させることができる。また、情報処理装置10は、監視対象のフロア内における複数の人物の動きを使用者に動的に比較させることができる。
さらに、第2実施形態における情報処理装置10は、動画表示部202によって、各人物の移動の様子を、移動が行われた順に動画でもって表示装置30に表示させることができる。また、動画表示部202は、動画表示部202によって、各人物の移動の様子を、同じ時間に移動が開始されたように動画でもって表示装置30に表示させるもできる。このように、同じ時間に移動が開始されたように表示することにより、情報処理装置10は、各人物の移動における移動方向や移動時間を使用者が比較し易くなるという効果を得ることができる。
<その他の実施形態>
図11は、本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。図11の例では、情報処理装置5は、検知部6と、表示制御部7とを備える。検知部6は、監視する対象物の動きに関する情報(追跡情報)を、当該情報に含まれている移動経路の情報に基づき当該移動経路ごとに分類する機能を備える。表示制御部7は、それら各移動経路に分類された情報(追跡情報)の数を太さでもって、かつ、移動経路を形状と向きでもって表す矢印が表示装置に表示されるように表示装置を制御する機能を備える。
この情報処理装置5は、そのような構成を備えることにより、所定の経路で移動する対象物の数と移動経路を併せて表示できる。
また、表示制御部7は、動線情報に含まれる移動時間に応じた長さを持つ矢印が表示装置に表示されるように表示装置を制御してもよい。
このような構成により、情報処理装置5は、対象物の移動時間も併せて表示できる。
また、情報処理装置5は、対象物の動線情報が表す移動の軌跡を、矢印が伸びていく様子を表す動画でもって表示させる動画表示部を備えていてもよい。
このような構成により、情報処理装置5は、監視対象の領域における対象物の移動の様子を動的に表示させることができる。
また、動画表示部は、複数の対象物の動線情報に対応する矢印が伸びていく様子を、対象物の移動が開始された順にそれぞれ動画でもって表示させてもよい。
このような構成により、情報処理装置5は、各対象物の移動の様子を使用者が動的に比較できるように表示させることができる。
また、動画表示部は、対象物の複数の動線情報に対応する矢印が伸びていく様子を、同時に動画でもって表示してもよい。
このような構成により、情報処理装置5は、各対象物の移動の様子を、同じ時間に移動が開始されたように表示させることができる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2014年9月11日に出願された日本出願特願2014−184741を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
対象物の動線情報を、前記動線情報が示す移動経路ごとに分類する分類部としての機能を持つ検知部と、
所定の移動経路に分類された前記動線情報の数が太さに、前記所定の移動経路が向きおよび形状に反映された矢印を表示する表示制御部とを備える
ことを特徴とする表示システム。
(付記2)
表示制御部は、動線情報が示す移動時間が長さに反映された矢印を表示する
付記1に記載の表示システム。
(付記3)
表示システムは、対象物の動線情報が示す移動経路の、始点から終点まで矢印が伸びていく様子を動画でもって表示する動画表示部を備える
付記1又は付記2に記載の表示システム。
(付記4)
動画表示部は、対象物の複数の動線情報に対応する矢印が伸びていく様子を、前記動線情報が示す移動が開始された順にそれぞれ動画でもって表示する
付記3に記載の表示システム。
(付記5)
動画表示部は、対象物の複数の動線情報に対応する矢印が伸びていく様子を、同時に動画でもって表示する
付記3に記載の表示システム。
(付記6)
対象物の動線情報を、前記動線情報が示す移動経路ごとに分類し、
所定の移動経路に分類された前記動線情報の数が太さに、前記所定の移動経路が向きおよび形状に反映された矢印を表示する
ことを特徴とする表示方法。
(付記7)
動線情報が示す移動時間が長さに反映された矢印を表示する
付記6に記載の表示方法。
(付記8)
コンピュータに、
対象物の動線情報を、前記動線情報が示す移動経路ごとに分類する分類処理、および
所定の移動経路に分類された前記動線情報の数が太さに、前記所定の移動経路が向きおよび形状に反映された矢印を表示する表示処理
を実行させるための表示プログラム。
(付記9)
コンピュータに、
動線情報が示す移動時間が長さに反映された矢印を表示する表示処理を実行させる
付記8に記載の表示プログラム。
10 情報処理装置
100 追跡部
101 検知部
102 方向算出部
103 時間算出部
104 累積部
105 表示制御部
201 データ作成部
202 動画表示部

Claims (6)

  1. 複数の対象物の動線情報を、前記動線情報が示す移動経路ごとに分類する検知手段と、
    移動経路に分類された前記動線情報の数が太さに、また、前記移動経路の向きおよび形状が反映された矢印であって、前記動線情報が示す移動時間に応じた長さを持つ前記矢印が表示されるように表示装置を制御する表示制御手段と
    を備える情報処理装置。
  2. 前記動線情報に基づいて、前記移動経路における前記対象物の動きが、前記矢印が伸びていく様子を表す動画でもって前記表示装置に表示されるように、前記表示装置を制御する動画表示手段をさらに備える請求項1に記載の情報処理装置。
  3. 前記動画表示手段は、前記各移動経路における前記対象物の動きを表す複数の前記矢印が、前記対象物の動きが開始された順でもって順に動きが開始されるように、前記矢印の表示を制御する請求項に記載の情報処理装置。
  4. 前記動画表示手段は、前記各移動経路における前記対象物の動きを表す複数の前記矢印の動きが同時に開始されるように、前記矢印の表示を制御する請求項に記載の情報処理装置。
  5. 複数の対象物の動線情報を、前記動線情報が示す移動経路ごとに分類し、
    移動経路に分類された前記動線情報の数が太さに、また、前記移動経路の向きおよび形状が反映された矢印であって、前記動線情報が示す移動時間に応じた長さを持つ前記矢印が表示されるように表示装置を制御する表示方法。
  6. コンピュータに、
    複数の対象物の動線情報を、前記動線情報が示す移動経路ごとに分類する処理と、
    前記移動経路に分類された前記動線情報の数が太さに、また、前記移動経路の向きおよび形状が反映された矢印であって、前記動線情報が示す移動時間に応じた長さを持つ前記矢印が表示されるように表示装置を制御する処理と
    を実行させるコンピュータプログラム。
JP2016547695A 2014-09-11 2015-09-07 情報処理装置、表示方法およびコンピュータプログラム Active JP6399096B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014184741 2014-09-11
JP2014184741 2014-09-11
PCT/JP2015/004526 WO2016038872A1 (ja) 2014-09-11 2015-09-07 情報処理装置、表示方法およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2016038872A1 JPWO2016038872A1 (ja) 2017-06-22
JP6399096B2 true JP6399096B2 (ja) 2018-10-03

Family

ID=55458643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547695A Active JP6399096B2 (ja) 2014-09-11 2015-09-07 情報処理装置、表示方法およびコンピュータプログラム

Country Status (3)

Country Link
US (5) US10297051B2 (ja)
JP (1) JP6399096B2 (ja)
WO (1) WO2016038872A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185683A (ja) * 2017-04-26 2018-11-22 富士通株式会社 表示制御プログラム、表示制御方法、及び情報処理装置
JP6969493B2 (ja) * 2018-05-16 2021-11-24 株式会社Jvcケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム
JP7004116B2 (ja) * 2019-07-19 2022-01-21 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176004A (ja) 1992-07-27 1994-06-24 Takenaka Komuten Co Ltd 入場者の動線シミュレーション装置
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
JPH11288213A (ja) 1998-04-03 1999-10-19 Mitsubishi Electric Corp ナビゲーション装置
JP3562406B2 (ja) 1999-10-28 2004-09-08 トヨタ自動車株式会社 経路探索装置
JP2002041339A (ja) 2000-07-25 2002-02-08 Toshiba Corp 情報検索システム
US20020041339A1 (en) * 2000-10-10 2002-04-11 Klaus Diepold Graphical representation of motion in still video images
US7433494B2 (en) * 2002-09-19 2008-10-07 Denso Corporation Moving body detecting apparatus
JP3904000B2 (ja) * 2004-05-26 2007-04-11 コニカミノルタホールディングス株式会社 移動体検出システム及び移動体検出方法
US20070185756A1 (en) * 2004-08-23 2007-08-09 Jae Ahn Shopping pattern analysis system and method based on rfid
JP2006279859A (ja) * 2005-03-30 2006-10-12 Hitachi Ltd 移動体移動実態情報提供システム、位置情報収集装置、カーナビ装置および移動体移動実態情報提供方法
JP4389866B2 (ja) * 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
US8116564B2 (en) * 2006-11-22 2012-02-14 Regents Of The University Of Minnesota Crowd counting and monitoring
US8107676B2 (en) * 2007-07-30 2012-01-31 International Business Machines Corporation Line length estimation
JP4621716B2 (ja) * 2007-08-13 2011-01-26 東芝テック株式会社 人物行動分析装置,方法及びプログラム
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8885047B2 (en) * 2008-07-16 2014-11-11 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
JP2010123069A (ja) 2008-11-21 2010-06-03 Panasonic Corp センシングデータ検索装置及び検索画像作成方法
US8231506B2 (en) * 2008-12-05 2012-07-31 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
JP4748254B2 (ja) 2009-05-29 2011-08-17 トヨタ自動車株式会社 省燃費運転推奨装置
JP2011170565A (ja) 2010-02-17 2011-09-01 Toshiba Tec Corp 顧客動向収集方法、装置及びプログラム
US20120001828A1 (en) * 2010-06-30 2012-01-05 Gallagher Andrew C Selecting displays for displaying content
US8478048B2 (en) * 2010-07-08 2013-07-02 International Business Machines Corporation Optimization of human activity determination from video
US8702516B2 (en) * 2010-08-26 2014-04-22 Blast Motion Inc. Motion event recognition system and method
JP5494364B2 (ja) 2010-09-02 2014-05-14 カシオ計算機株式会社 測位装置、測位方法、及び、プログラム
US20130002854A1 (en) * 2010-09-17 2013-01-03 Certusview Technologies, Llc Marking methods, apparatus and systems including optical flow-based dead reckoning features
US9390334B2 (en) * 2011-03-31 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Number of persons measurement device
JP5808576B2 (ja) 2011-05-26 2015-11-10 株式会社トプコン 眼科撮影装置
JP2012246115A (ja) * 2011-05-30 2012-12-13 Mitsubishi Electric Corp 乗降履歴情報の可視化装置および乗降履歴情報の可視化プログラム
EP2742485A1 (en) * 2011-08-12 2014-06-18 Edh Holdings (South Africa) (Pty) Ltd. Ball trajectory and bounce position detection
JP5861430B2 (ja) 2011-12-09 2016-02-16 オムロン株式会社 動向分析システム
US8615107B2 (en) * 2012-01-11 2013-12-24 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for multiple object tracking with K-shortest paths
JP5356615B1 (ja) 2013-02-01 2013-12-04 パナソニック株式会社 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法
US20140278688A1 (en) * 2013-03-15 2014-09-18 Disney Enterprises, Inc. Guest movement and behavior prediction within a venue
US20140316848A1 (en) * 2013-04-21 2014-10-23 International Business Machines Corporation Cross-Channel Analytics Combining Consumer Activity on the Web and in Physical Venues
US20160203499A1 (en) * 2013-09-06 2016-07-14 Nec Corporation Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system
US20150104149A1 (en) * 2013-10-15 2015-04-16 Electronics And Telecommunications Research Institute Video summary apparatus and method
JP6176100B2 (ja) * 2013-12-11 2017-08-09 株式会社コナミデジタルエンタテインメント ゲームプログラム、ゲームシステム
JP6319421B2 (ja) * 2014-02-25 2018-05-09 日本電気株式会社 情報処理装置、データ分析方法、及び、プログラム
US9311799B2 (en) * 2014-03-18 2016-04-12 Symbol Technologies, Llc Modifying RFID system operation using movement detection
JP5853141B2 (ja) * 2014-03-26 2016-02-09 パナソニックIpマネジメント株式会社 人数計測装置、人数計測システムおよび人数計測方法
JP5789776B2 (ja) 2014-04-28 2015-10-07 パナソニックIpマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
EP2942251B1 (en) * 2014-05-08 2017-04-05 Volvo Car Corporation Method for providing an object prediction representation
JP5866564B1 (ja) * 2014-08-27 2016-02-17 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法

Also Published As

Publication number Publication date
US11315294B2 (en) 2022-04-26
US11657548B2 (en) 2023-05-23
US20170263024A1 (en) 2017-09-14
US10297051B2 (en) 2019-05-21
US20210042971A1 (en) 2021-02-11
WO2016038872A1 (ja) 2016-03-17
JPWO2016038872A1 (ja) 2017-06-22
US20220207797A1 (en) 2022-06-30
US10825211B2 (en) 2020-11-03
US20230252698A1 (en) 2023-08-10
US20190221015A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
US10846971B2 (en) Investigation generation in an observation and surveillance system
JP6319421B2 (ja) 情報処理装置、データ分析方法、及び、プログラム
EP2869268B1 (en) Staying state analysis device, staying state analysis system and staying state analysis method
US9536153B2 (en) Methods and systems for goods received gesture recognition
US10846537B2 (en) Information processing device, determination device, notification system, information transmission method, and program
CN105723703B (zh) 监控装置、监控***以及监控方法
CN105391973A (zh) 监控装置、监控***及监控方法
US11657548B2 (en) Information processing device, display method, and program storage medium for monitoring object movement
US11881090B2 (en) Investigation generation in an observation and surveillance system
JP2015001879A (ja) 情報処理装置、情報処理システム及びプログラム
JP2015149089A (ja) 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
JP2012252613A (ja) 顧客行動追跡型映像配信システム
JP2020091649A (ja) 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム
JP2018151840A (ja) 照合システム、照合方法および照合プログラム
JP6301759B2 (ja) 顔識別装置及びプログラム
JP7318303B2 (ja) 清掃管理プログラム、清掃管理方法及び清掃管理装置
JP2014016969A (ja) 顔照合システム
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
WO2022168515A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP6833558B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2016224884A (ja) 情報処理装置、及びプログラム
JP2022170538A (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2023050826A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2012004754A (ja) カメラ切換装置、カメラ切換システム及びカメラ切換方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170302

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180820

R150 Certificate of patent or registration of utility model

Ref document number: 6399096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150