JP2018186397A - 情報処理装置、映像監視システム、情報処理方法及びプログラム - Google Patents

情報処理装置、映像監視システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2018186397A
JP2018186397A JP2017087205A JP2017087205A JP2018186397A JP 2018186397 A JP2018186397 A JP 2018186397A JP 2017087205 A JP2017087205 A JP 2017087205A JP 2017087205 A JP2017087205 A JP 2017087205A JP 2018186397 A JP2018186397 A JP 2018186397A
Authority
JP
Japan
Prior art keywords
subject
information
video
unit
statistical information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017087205A
Other languages
English (en)
Inventor
健二 塚本
Kenji Tsukamoto
健二 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017087205A priority Critical patent/JP2018186397A/ja
Priority to US15/954,363 priority patent/US20180314893A1/en
Publication of JP2018186397A publication Critical patent/JP2018186397A/ja
Priority to JP2021190723A priority patent/JP7218416B2/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】通信コストを減らしつつ、異なる映像監視システムにおいても被写体を追跡可能とすることを目的とする。【解決手段】監視カメラ間で被写体を追跡する際に、追跡している被写体が第1の撮影範囲から出ると、外部のカメラの検出内容を取得し同定処理を行い、同定処理結果に基づいて外部に被写体の情報を送信する。【選択図】図2

Description

本発明は、情報処理装置、映像監視システム、情報処理方法及びプログラムに関する。
監視対象空間内に設置された複数の監視カメラを使って物体を検出してカメラ間で同定し、追跡する監視システムが提案されている。特許文献1では監視対象空間内にある監視カメラ映像内の被写体を検出して特徴量を算出し、得られた特徴量を基にカメラ間で被写体を同定し、追跡する方法が提案されている。
特許4700477号公報
しかしながら、特許文献1の監視システムでは1つの監視対象空間内で被写体を追跡することを想定しており、被写体が別の監視対象空間へと移動した場合、別の映像監視システムにおいて被写体を検出・同定して追跡することになる。そこで、ある映像監視システムで追跡している被写体情報を別の映像監視システムに送信して追跡することが考えられるが、その場合、検出した被写体情報をシステム外部に送信する必要がある。しかし、追跡結果や被写体の情報を不特定の外部監視システムへ送信すると大きな通信コストがかかってしまっていた。
本発明の情報処理装置は、少なくとも1つ以上の撮像手段から取得した撮像画像について被写体を検出する検出手段と、前記撮像手段によって新たに取得した撮像画像について、前記検出手段によって検出されていた被写体が検出されなくなると、外部装置から、前記外部装置により検出した被写体に対応する特徴情報を取得する取得手段と、前記検出手段により検出した被写体について、前記取得手段により取得した特徴情報の示す被写体と同定する同定手段と、前記同定手段により同定された被写体の特徴を示す情報を前記外部装置へ送信する送信手段とを有する。
本発明によれば、通信コストを減らしつつ、異なる映像監視システムにおいても簡便に被写体を追跡することができる。
映像監視システムのハードウェア構成の一例を示す図である。 映像監視システムの機能構成等の一例を示す図である。 それぞれの監視対象空間で映像監視を行っている一例を示す図である。 被写体DBに登録されている被写体情報の一例を示す図である。 統計情報の一例を示す図である。 被写体情報の一例を示す図である。 情報処理の一例を示すフローチャートである。 出現確率の一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
本実施形態に係る映像監視システムは、監視カメラの映像内の人物を検出し、検出した人物の特徴量を抽出して別の監視カメラの映像内で検出された人物の特徴量と比較して同定し、監視カメラ間で被写体を追跡する。追跡している被写体が映像監視システムの監視空間内から出た場合、映像監視システムは、外部の映像監視システムから統計情報を取得し、統計情報と類似する被写体情報を選択して外部の映像監視システムへ送信する。外部の映像監視システムは、取得した人物の特徴量を用いて人物を同定し、追跡を継続して行う。
図1は、映像監視システム100のハードウェア構成の一例を示す図である。映像監視システム100は、各種のユニット(10〜14)を含んで構成される。CPU(Central Processing Unit)10は、各種のプログラムを実行し、様々な機能を実現するユニットである。RAM(Random Access Memory)11は、各種の情報を記憶するユニットである。また、RAM11は、CPU10の一時的な作業記憶領域としても利用されるユニットである。ROM(Read Only Memory)12は、各種のプログラム等を記憶するユニットである。例えば、CPU10は、ROM12に記憶されているプログラムをRAM11にロードしてプログラムを実行する。
加えて、CPU10がフラッシュメモリ、HDD(Hard Disk Drive)、又はSSD(Solid State Disk)といった外部記憶装置に記憶されているプログラムに基づき処理を実行する。これにより、図2に示されるような映像監視システム100又は映像監視システム110を構成するソフトウェア構成及び後述する図7の1又は複数のフローチャートの各ステップの処理が実現される。
映像監視システム100、映像監視システム110の機能及び後述する図7のフローチャートの各ステップの処理の全部又は一部については専用のハードウェアを用いて実現されてもよい。
NIC(Network Interface Card)205は、映像監視システム100をネットワークに接続するためのユニットである。
映像監視システム100は、図1に示したように1つの装置、又はコンピュータで実現されてもよいし、複数の装置、又はコンピュータで実現されてもよい。
図2は、映像監視システムの機能構成等の一例を示す図である。本実施形態では映像監視システム100から映像監視システム110へと被写体情報を送信する場合について説明を行う。図2に示されるように、本実施形態のシステムは、映像監視システム100と映像監視システム110とを含み、映像監視システム100と映像監視システム110とがネットワーク20を介して通信可能に接続されている。
また、映像監視システム100と映像監視システム110とでは概略構成は同一のものであるため、構成の各項目の詳細な説明について重複する場合は省略する。
映像監視システム100及び映像監視システム110は、機能構成として、映像取得部101と、被写体検出部102と、特徴抽出部103と、被写体同定部104と、被写体データベース(被写体DB)105と、統計情報生成部106と、を含む。また、映像監視システム100及び映像監視システム110は、機能構成として、統計情報送受信部107と、被写体選択部108と、被写体情報送受信部109と、を含む。
映像取得部101は、設置された監視カメラ等で撮影された映像を取得する。図3では、マップ200において映像監視システム100の監視対象空間210と映像監視システム110の監視対象空間220とで映像監視を実行していることを表している。このとき、映像監視システム100の映像取得部101〜101−nが監視カメラ群211〜216に対応し、映像監視システム110の映像取得部101〜101―nが監視カメラ群221〜225に対応する。
また、監視カメラで撮影された映像をレコーダに保存しておき、映像取得部101は、レコーダから保存された映像を取得するものでもよい。映像取得部101は、取得した映像を被写体検出部102へ出力する。
被写体検出部102は、得られた映像に対して被写体検出の処理を行う。被写体検出部102は、予め用意された背景画像と撮影において撮像された各画像(撮像画像)との画素値を比較し、背景画像と異なる画素値を抽出し、抽出した画素に対して、隣接する画素を連結させることで被写体として検出する。
被写体検出部102は、例えば非特許文献1の方法を用いて、予め用意された人物モデルを画像に対してスライドさせながら比較演算するスライディングウィンドウ処理を実行して、画像の各領域と人物モデルとを比較し、画像の各領域が人物であるか判定することで、人物を検出することもできる。
(非特許文献1)Histograms of oriented gradients for human detetction,N.Dalal,CVPR2005
ここでは、被写体検出部102は、これらの方法に限定するわけではなく、他の方法で人物検出を行ってもよい。
被写体検出部102は、検出された人物の領域画像を特徴抽出部103へと送る。
特徴抽出部103は、被写体検出部102で検出された人物画像に対して、特徴量を抽出する。特徴抽出部103は、得られた人物画像を一定のサイズに正規化し、特徴抽出部103は、正規化した人物画像を既定サイズの小領域に分割して、各小領域で色ヒストグラムを作成する。特徴抽出部103は、各小領域の色ヒストグラムを連結してベクトルとすることで特徴量にすることができる。特徴量の抽出方法はこれらに限定するわけではない。特徴抽出部103は、他の方法を用いて特徴量を抽出してもよい。
特徴抽出部103は、得られた人物の特徴量を含む特徴情報を被写体同定部104へと送る。
被写体同定部104は、得られた各被写体の特徴量を、異なるカメラ間で比較して、特徴量の類似度から同一の人物か否かを判定する。
被写体同定部104は、例えば、以下の(式1)に示すコサイン類似度を用いて類似度を算出することができる。
Figure 2018186397
また、類似度の算出にはコサイン類似度に限定するわけではない。被写体同定部104は、SSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)等を用いてもよく、別の評価値を算出してもよい。被写体同定部104は、算出した類似度が最も高い値の場合、2つの比較している人物同士を同一人物として同定する。
被写体同定部104は、同定した被写体の被写体ID、カメラID、画像、特徴量、属性、位置情報等を被写体情報として被写体DB105へ登録する。図4は、被写体DB105に登録されている被写体情報の一例を示す図である。図4は、被写体情報の一例であって、図4に示した情報以外に、被写体情報として推定した被写体の性別、年齢や、被写体画像を取得した監視カメラのパラメータ、監視カメラの設置条件、位置情報等を含んでいてもよい。
統計情報生成部106は、映像内の被写体に関する統計情報を生成する。
図5は、監視カメラ221の映像441と監視カメラ222の映像442とで検出された人物のクラス(正面向き、右向き、左向き、後ろ向き)別の生成結果の統計情報451、452の一例を示す図である。例えば、図5(a)の映像441からは図5(c)に示されるように正面向きの被写体が他の向きより多く検出された統計情報が得られる。また、図5(b)の映像442からは図5(d)に示されるように右向きの被写体が他の向きより多く検出された統計情報が得られる。また、統計情報生成部106は、この統計情報を各監視カメラからの映像に基づき生成する際、時間帯等を指定して生成してもよい。また、統計情報生成部106は、特徴抽出部103で得た各被写体検出結果に対する特徴量を用いて年齢、性別等の属性を判定し、年齢ごとの被写体の向きの統計情報や、性別ごとの被写体の向きの統計情報を生成してもよい。統計情報生成部106は、特徴量をSVM(Support Vector Machine)で学習したモデルと比較して、判別結果から属性を取得することもできる。
統計情報生成部106は、生成した監視カメラの統計情報を統計情報送受信部107へ出力する。ここで、また、統計情報生成部106は、カメラパラメータ、監視カメラの設置条件等を取得し、カメラパラメータ、監視カメラの設置条件等と統計情報とを統計情報送受信部107へ出力するようにしてもよい。以下、説明の簡略化のため、カメラパラメータや監視カメラの設置条件を示す情報等は統計情報に含まれるものとして説明する。
統計情報送受信部107は、例えば、映像監視システム100において追跡している被写体が、被写体検出部102によって検出されなくなると、被写体が監視対象空間内から出た(撮影範囲から出た)と判断して、外部の映像監視システム110に対して統計情報を送信するように要求する。映像監視システム110は、映像監視システム110の要求に基づいて統計情報生成部106で生成した各監視カメラの統計情報を映像監視システム100に送信する。このとき、映像監視システム110は、映像監視システム110の全監視カメラの統計情報を送信してもよいし、ユーザが予め選択しておいた監視カメラの統計情報を送信してもよい。例えば、CPU10は、入力装置等を介して選択された監視カメラの識別情報をHDD13等の保持しておき、この識別情報に基づき選択された監視カメラの統計情報を送信するようにしてもよい。
統計情報送受信部107は、受信した統計情報を被写体選択部108へ出力する。
被写体選択部108は、統計情報送受信部107から受信した統計情報451、452を基に、被写体DB105から追跡している被写体IDと統計情報451、452とで同じ属性の情報を選択する。図6に示す情報561は選択された被写体情報である。被写体選択部108は、受信した統計情報451、452から、統計値が最も高い正面向きと右向きとの被写体情報を選択する。被写体選択部108は、選択した被写体情報を被写体情報送受信部109へ出力する。被写体選択部108は、統計情報送受信部107から受信した統計情報に応じた被写体情報を選択する。例えば、被写体選択部108は、統計情報451、452と共に、統計情報送受信部107からカメラパラメータを受信した場合、カメラパラメータと統計情報451、452とに応じた被写体情報を選択する。同様に、被写体選択部108は、統計情報451、452と共に、統計情報送受信部107から監視カメラの設置条件を受信した場合、監視カメラの設置条件と統計情報451、452とに応じた被写体情報を選択する。
被写体情報送受信部109は、映像監視システム100において選択された被写体情報561を映像監視システム110へ送信する。映像監視システム110では被写体情報561を受信した場合、被写体同定部104へ出力し、被写体の同定処理を実行する。
以上が、本実施形態に係る構成である。これによりある映像監視システム100から別の映像監視システム110に移動した被写体の追跡を効率的に継続して行うことができる。映像監視システムは、2つに限られるものではなく、ネットワーク20を介して2以上の映像監視システムが互いに通信可能に接続されていてもよい。
図7に示したフローチャートを用いて、本実施形態における映像監視システム100及び映像監視システム110が行う情報処理について説明する。
本実施形態での情報処理は、被写体の追跡処理・被写体情報の送信処理、統計情報生成処理、被写体情報受信・追跡処理の3つに分けられる。
まずは被写体の追跡処理・被写体情報の送信処理について説明する。
(追跡処理・被写体情報の送信処理)
図7(a)は、映像監視システム100における追跡処理・被写体情報の送信処理の一例を示すフローチャートである。
ステップS601において、映像取得部101は、映像を取得する。映像取得部101は、設置された監視カメラから映像を取得してもよいし、レコーダに保存されている映像を取得してもよい。映像取得部101は、取得した映像を被写体検出部102へと送る。ステップS601の後、処理はステップS602に進む。
ステップS602において、被写体検出部102は、受信した映像に対して被写体検出の処理を行う。例えば、被写体検出部102は、予め用意された人物モデルを用いてスライディングウィンドウ処理を行って画像の各領域と人物モデルとを比較し、人物モデルとの類似度が設定された閾値より高い領域を人物として検出する。被写体検出部102は、その他の方法を用いて被写体の検出を行ってもよい。被写体検出部102は、人物検出の結果を特徴抽出部103へと送る。ステップS602の後、処理はステップS603に進む。
ステップS603において、特徴抽出部103は、人物検出の結果を用いて特徴量を抽出する。例えば、特徴抽出部103は、被写体検出部102で得られた人物画像を設定されたサイズに正規化し、正規化した人物画像を小領域に分割し、各小領域に対して色ヒストグラムを抽出し、ヒストグラムを連結させたベクトルを特徴量として抽出する。特徴抽出部103は、他の特徴抽出方法を用いて特徴量を抽出してもよい。特徴抽出部103は、抽出した特徴量を被写体同定部104へと送る。ステップS603の後、処理はステップS604に進む。
ステップS604において、被写体同定部104は、検出された被写体と同一の被写体を同定する。例えば、被写体同定部104は、ユーザが指定した被写体と得られた被写体との特徴量のコサイン類似度を算出し、最も類似度が高い被写体を同一被写体と判定し、被写体を同定する。同定された被写体に対しては引き続き追跡処理が行われる。被写体同定部104は、同定した被写体情報を被写体DB105に登録する。ステップS604の後、処理はステップS605に進む。
ステップS605において、統計情報送受信部107は、追跡している被写体が監視対象空間内の外部へ出たかどうかを判定する。統計情報送受信部107は、映像監視システム100内で監視カメラの画像領域内で被写体が未検出になった場合、監視対象空間内の外部に出た(監視カメラの撮影範囲から出た)と判定する。統計情報送受信部107は、追跡している被写体が外部に出たと判定した場合、処理をステップS606へと進め、外部に出ていないと判定した場合、図7(a)に示すフローチャートの処理を終了する。
ステップS606において、統計情報送受信部107は、外部の映像監視システム110に統計情報を送信するよう要求し、映像監視システム110より統計情報451、452を取得する。統計情報送受信部107は、統計情報の取得が完了したら、統計情報451、452を被写体選択部108へ出力する。ステップS606の後、処理はステップS607に進む。
ステップS607において、被写体選択部108は、統計情報送受信部107から受信した外部の映像監視システム110の各監視カメラの統計情報451、452を用いて、追跡していた被写体情報を選択する。被写体選択部108は、統計情報451、452において統計値が最も高い正面向き、右向きの追跡被写体の属性を選択し、被写体情報561を作成し、選択する。被写体選択部108は、選択した被写体情報561を、被写体情報送受信部109へ出力する。ステップS607の後、処理はステップS608に進む。
ステップS608において、被写体情報送受信部109は、被写体選択部108で選択された被写体情報561を外部の映像監視システム110へ送信する。
映像監視システム110における追跡処理は<被写体情報受信・追跡処理>において説明を後述する。
被写体情報送受信部109は、送信処理を完了すると、図7(a)に示すフローチャートの処理を終了する。
以上が被写体追跡・被写体情報の送信処理である。続いて統計情報生成処理について説明する。
(統計情報生成処理)
図7(b)は、映像監視システム110における統計情報生成処理の一例を示すフローチャートである。
ステップS601〜S603は図7(a)の処理と同様であるため説明を省略する。
ステップS614において、統計情報生成部106は、監視カメラの映像内の被写体に関する統計情報を生成する。例えば、統計情報生成部106は、各監視カメラの映像441、442それぞれの被写体検出結果のクラスのヒストグラムを生成して、それを統計情報451、452とする。統計情報生成部106は、他の情報を用いて統計情報を作成してもよい。ステップS614の後、処理はステップS615に進む。
ステップS615において、統計情報送受信部107は、外部から統計情報451、452の送信要求を受信したか否かを判定する。例えば映像監視システム110の統計情報送受信部107は、映像監視システム100からの統計情報の送信要求を受信した場合、処理をステップS616へと進め、送信要求を受信していない場合、処理をステップS601へと戻す。
ステップS616において、統計情報送受信部107は、統計情報生成部106で生成された統計情報451、452を取得し、送信要求元の外部の映像監視システム100へ送信する。統計情報送受信部107は、統計情報451、452の送信が完了すると、図7(b)に示すフローチャートの処理を終了する。
以上が、統計情報生成処理である。続いて、監視システムでの被写体情報受信・追跡処理について説明する。
(被写体情報受信・追跡処理)
図7(c)は、被写体情報受信・追跡処理の一例を示すフローチャートである。
ステップS601〜S603は図7(a)の処理と同様であるため、説明を省略する。
ステップS624において、映像監視システム110の被写体情報送受信部109は、外部の監視システムから被写体情報561を受信したかを判定する。被写体情報送受信部109は、外部から被写体情報561を受信しなかった場合、図7(c)のフローチャートの処理を終了し、外部から被写体情報561を受信した場合、被写体同定部104に被写体情報を送り、ステップS625に進む。
ステップS625において、被写体同定部104は、受信した被写体情報561を用いて、映像監視システム110内で検出している人物との同定処理を行い、被写体を追跡する。被写体同定部104は、被写体情報561の特徴量と特徴抽出部103から得られた被写体の特徴量との類似度を算出して、最も高い類似度の被写体を被写体情報561と同一の人物として同定し、追跡を行う。被写体同定部104は、類似度が設定された値以下であれば、被写体が同定できなかったとして追跡を行わない。被写体同定部104は、被写体を同定した場合、同定した被写体の統計情報を含む同定結果を映像監視システム110の被写体DB105へと保存する。さらに、同定した被写体の追跡依頼を映像監視システム110に対して送信し、図7(c)に示すフローチャートの処理を終了する。
以上が被写体情報受信・追跡処理である。
これにより、映像監視システム100から特定の映像監視システム110へ、映像監視システム100で追跡している被写体の被写体情報を選択し、送信することで送信コストを低減しつつ、映像監視システム110で追跡を簡便に継続して行うことができる。
<実施形態2>
統計情報生成部106は、被写体DB105に保存されている被写体情報を基に、被写体が映像監視システム100のどの監視カメラから外部に出て、映像監視システム110のどの監視カメラに出現したかという統計情報を併せて生成する。
それには、映像監視システム100の被写体情報送受信部109は、最後に同定された被写体のカメラIDを併せて被写体情報を映像監視システム110に送信する。映像監視システム110の被写体情報送受信部109は、受信した被写体情報を基に、被写体同定部104で最初に同定されたカメラIDを併せて被写体DB105に記録する。
統計情報生成部106は、被写体DB105からこれまでに映像監視システム100、映像監視システム110間で同定・追跡した被写体情報を取得する。そして、統計情報生成部106は、登録されているカメラIDの関係を基に、映像監視システム100の監視カメラから外部に出て映像監視システム110の監視カメラに出現する確率を統計情報として生成する。図8は、統計情報生成部106が、監視カメラ213から外部に出て、監視カメラ群221〜225に出現する確率を統計情報711として算出した一例を示す図である。統計情報生成部106は、監視カメラ213に限定して確率を算出するわけではなく、他の監視カメラも同様に算出する。
また統計情報生成部106は、被写体DB105に登録されている被写体IDの情報を基に被写体が映像監視システム100で最後に同定された時刻と映像監視システム110で最初に同定された時刻とを基に、映像監視システム100、110間の移動時間を算出する。統計情報生成部106は、被写体が消失した時刻と現在の時刻との差分から移動時間を算出し、算出した移動時間に応じた監視カメラの統計情報を選択するようにしてもよい。統計情報生成部106は、生成した統計情報451、452、711を統計情報送受信部107に出力する。統計情報送受信部107は、統計情報451、452、711を映像監視システム100へ送信する。統計情報送受信部107は、統計情報生成部106から統計情報451、452、711と移動時間とを受け取った場合、統計情報451、452、711と移動時間とを映像監視システム100へ送信するようにしてもよい。
映像監視システム100の統計情報送受信部107は、映像監視システム110から統計情報451、452、711を受信し、受信した情報を被写体選択部108へ出力する。
被写体選択部108は、統計情報451、452、711を用いて追跡している被写体情報を選択する。このとき、被写体選択部108は、統計情報711の出現確率が閾値以上の監視カメラの統計情報451、452を選択して、類似する属性の被写体情報を選択する。また、被写体選択部108は、監視カメラ間での統計情報711をそれぞれの監視カメラの統計情報451、452の各統計値に掛けた値が閾値以上であれば、その検出クラスの被写体情報を選択するようにしてもよい。
被写体選択部108は、選択した被写体情報を被写体情報送受信部109へ出力する。被写体情報送受信部109は受け取った被写体情報を外部の映像監視システム110へ送信する。
これにより、被写体が現れるときの情報を選択して送信する情報量を減らすことができる。
図7に示したフローチャートを用いて、本実施形態における映像監視システム100及び映像監視システム110が行う情報処理について説明する。
(追跡処理・被写体情報の送信処理)
ステップS607において、被写体選択部108は、統計情報送受信部107から取得した統計情報451、452と統計情報711とを用いて、追跡していた被写体情報を選択する。このとき、被写体選択部108は、統計情報711の出現確率が閾値以上の監視カメラの統計情報451を選択して、類似する属性の被写体情報を作成し、選択する。被写体選択部108は、選択した被写体情報を被写体情報送受信部109へ出力する。ステップS607の後、処理はステップS608に進む。
(統計情報生成処理)
ステップS614において、統計情報生成部106は、統計情報451、452に加えて、監視カメラ間に関する統計情報711を生成する。統計情報生成部106は、被写体DB105にある被写体の追跡情報を用いて、映像監視システム100において最後に同定されているカメラIDと映像監視システム110において最初に同定された登録されたカメラIDとを抽出する。統計情報生成部106は、抽出したカメラIDを基に監視カメラ間での同定された被写体の統計情報711を統計情報として生成する。
また、統計情報生成部106は、監視システム間での移動時間を被写体DB105に登録されている被写体情報を基に算出し、その移動時間に応じて統計情報451、452を選択してもよい。統計情報生成部106は、統計情報451、452、711を生成すると、処理をステップS615へ進める。
以上が、本実施形態に係る情報処理である。
これにより、監視システム間での被写体の移動に係る出現確率を統計情報として用いることで、被写体の特徴量をより正確に選択することができる。なお、本実施形態では被写体を人物として説明を記述しているが、他の物体を被写体としてもよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した映像監視システムの機能構成の一部又は全てはハードウェア構成として映像監視システムに実装してもよい。また、映像監視システムのハードウェア構成としてCPU、ROM、RAM、HDD、NIC等は1つである必要はない。複数のCPUがプログラムに基づき、複数のRAM、ROM、HDDに記憶されたデータ等を用いながら処理を実行することで映像監視システムの機能等を実現するようにしてもよい。また、CPUに替えてGPU(Graphics Processing Unit)を用いることとしてもよい。
以上、上述した各実施形態の処理によれば、通信コストを減らしつつも、異なる映像監視システムにおいても被写体を追跡可能とすることができる。
10 CPU
13 HDD
100 映像監視システム

Claims (14)

  1. 少なくとも1つ以上の撮像手段から取得した撮像画像について被写体を検出する検出手段と、
    前記撮像手段によって新たに取得した撮像画像について、前記検出手段によって検出されていた被写体が検出されなくなると、外部装置から、前記外部装置により検出した被写体に対応する特徴情報を取得する取得手段と、
    前記検出手段により検出した被写体について、前記取得手段により取得した特徴情報の示す被写体と同定する同定手段と、
    前記同定手段により同定された被写体の特徴を示す情報を前記外部装置へ送信する送信手段と
    を有する情報処理装置。
  2. 前記送信手段は、前記同定手段により同定された被写体の追跡を前記外部装置に送信する請求項1に記載の情報処理装置。
  3. 第1カメラ群の映像を監視する第1システムと、第2カメラ群の映像を監視する第2システムと、を含む監視システムであって、
    前記第1システムは、
    前記第1カメラ群の映像に基づき追跡されている被写体が前記第1カメラ群の映像から検出されなくなると、前記第2カメラ群の映像に含まれる被写体の統計情報を前記第2システムから取得する取得手段と、
    前記取得手段により取得された統計情報に基づき被写体の被写体情報を選択する選択手段と、
    前記選択手段により選択された被写体情報を前記第2システムに送信する第1の送信手段と、
    を有する映像監視システム。
  4. 前記第2システムは、
    前記第2のカメラ群の映像に含まれる被写体の統計情報を生成する生成手段と、
    前記第1システムより統計情報の送信要求を受信すると、前記生成手段により生成された統計情報を前記第1システムに送信する第2の送信手段と、
    を有する請求項3に記載の映像監視システム。
  5. 前記第2システムは、
    前記第1システムより前記被写体情報を受信すると、前記第1システムより受信した被写体情報と前記第2カメラ群の映像から検出された複数の被写体の被写体情報とに基いて同定処理を実行する実行手段を更に有する請求項3に記載の映像監視システム。
  6. 第1のカメラの映像を監視する映像監視システムであって、
    前記映像に基づき追跡されている被写体が前記第1のカメラの撮影範囲から出ると、第2のカメラの映像に含まれる被写体の情報を取得する取得手段と、
    前記取得手段により取得された前記情報に基づいて選択された被写体情報を外部に送信する送信手段と、
    を有する映像監視システム。
  7. 前記情報には、被写体の属性に関する統計情報が含まれる請求項6に記載の映像監視システム。
  8. 前記情報には、前記第2のカメラへの被写体の出現確率が更に含まれ、
    前記送信手段は、前記出現確率が設定された値以上の第2のカメラの映像に含まれる被写体の属性に基づく被写体情報を送信する請求項7に記載の映像監視システム。
  9. 前記被写体の属性は、被写体の向きである請求項7又は8に記載の映像監視システム。
  10. 前記被写体の属性は、年齢ごとの被写体の向きである請求項9に記載の映像監視システム。
  11. 前記被写体の属性は、性別ごとの被写体の向きである請求項9に記載の映像監視システム。
  12. 少なくとも1つ以上の撮像装置から取得した撮像画像について被写体を検出する検出工程と、
    前記撮像装置によって新たに取得した撮像画像について、前記検出工程によって検出されていた被写体が検出されなくなると、外部装置から、前記外部装置により検出した被写体に対応する特徴情報を取得する取得工程と、
    前記検出工程において検出した被写体について、前記取得工程において取得した特徴情報の示す被写体と同定する同定工程と、
    前記同定工程において同定された被写体の特徴を示す情報を前記外部装置へ送信する送信工程と、
    を含む情報処理方法。
  13. 第1のカメラの映像を監視するシステムが実行する情報処理方法であって、
    前記映像に基づき追跡されている被写体が前記第1のカメラの撮影範囲から出ると、第2のカメラの映像に含まれる被写体の情報を取得する取得工程と、
    前記取得工程により取得された前記情報に基づいて選択された被写体情報を外部に送信する送信工程と、
    を含む情報処理方法。
  14. コンピュータを、請求項1又は2に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2017087205A 2017-04-26 2017-04-26 情報処理装置、映像監視システム、情報処理方法及びプログラム Pending JP2018186397A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017087205A JP2018186397A (ja) 2017-04-26 2017-04-26 情報処理装置、映像監視システム、情報処理方法及びプログラム
US15/954,363 US20180314893A1 (en) 2017-04-26 2018-04-16 Information processing device, video image monitoring system, information processing method, and recording medium
JP2021190723A JP7218416B2 (ja) 2017-04-26 2021-11-25 情報処理装置、情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017087205A JP2018186397A (ja) 2017-04-26 2017-04-26 情報処理装置、映像監視システム、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021190723A Division JP7218416B2 (ja) 2017-04-26 2021-11-25 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2018186397A true JP2018186397A (ja) 2018-11-22

Family

ID=63917343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017087205A Pending JP2018186397A (ja) 2017-04-26 2017-04-26 情報処理装置、映像監視システム、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20180314893A1 (ja)
JP (1) JP2018186397A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7218795B2 (ja) * 2019-03-27 2023-02-07 日本電気株式会社 照合装置、制御方法、及びプログラム
CN111698126B (zh) * 2020-04-28 2021-10-01 武汉旷视金智科技有限公司 信息监控方法、***及计算机可读存储介质
US12033390B2 (en) * 2021-10-26 2024-07-09 Hitachi, Ltd. Method and apparatus for people flow analysis with inflow estimation
CN117528035B (zh) * 2024-01-05 2024-03-22 四川省寰宇众恒科技有限公司 一种基于主动通知的物体跨境头追踪方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017063266A (ja) * 2015-09-24 2017-03-30 富士通株式会社 情報処理方法、情報処理装置、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
JP5423740B2 (ja) * 2011-08-23 2014-02-19 日本電気株式会社 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム
JP6080940B2 (ja) * 2013-02-28 2017-02-15 株式会社日立国際電気 人物検索方法及びホーム滞留人物検索装置
US20180115749A1 (en) * 2015-03-19 2018-04-26 Nec Corporation Surveillance system and surveillance method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017063266A (ja) * 2015-09-24 2017-03-30 富士通株式会社 情報処理方法、情報処理装置、及びプログラム

Also Published As

Publication number Publication date
US20180314893A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
US10121068B2 (en) Information processing apparatus, information processing method and program
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
US9898819B2 (en) System and method for detecting region of interest
US10353954B2 (en) Information processing apparatus, method of controlling the same, and storage medium
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
US10664523B2 (en) Information processing apparatus, information processing method, and storage medium
JP2018186397A (ja) 情報処理装置、映像監視システム、情報処理方法及びプログラム
JP6139447B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10467461B2 (en) Apparatus for searching for object and control method thereof
JP2019057815A (ja) 監視システム
JP2012059224A (ja) 移動物体追跡システムおよび移動物体追跡方法
US20190278804A1 (en) Information processing apparatus, method of controlling the same, and storage medium
JP6789421B2 (ja) 情報処理装置、追跡方法、及び追跡プログラム
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
KR102022971B1 (ko) 영상의 객체 처리 방법 및 장치
JP2018081402A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017063266A (ja) 情報処理方法、情報処理装置、及びプログラム
JP2019040306A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
JPWO2018163243A1 (ja) 物体追跡装置及び物体追跡方法
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
KR20160068281A (ko) 객체 인식 방법
JP6598952B2 (ja) 画像処理装置及び方法及び監視システム
JP7218416B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210831