JPWO2014061342A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2014061342A1
JPWO2014061342A1 JP2014541985A JP2014541985A JPWO2014061342A1 JP WO2014061342 A1 JPWO2014061342 A1 JP WO2014061342A1 JP 2014541985 A JP2014541985 A JP 2014541985A JP 2014541985 A JP2014541985 A JP 2014541985A JP WO2014061342 A1 JPWO2014061342 A1 JP WO2014061342A1
Authority
JP
Japan
Prior art keywords
video
video camera
information processing
person
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014541985A
Other languages
English (en)
Other versions
JP6347211B2 (ja
Inventor
祐介 ▲高▼橋
祐介 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014061342A1 publication Critical patent/JPWO2014061342A1/ja
Application granted granted Critical
Publication of JP6347211B2 publication Critical patent/JP6347211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

(課題)複数のビデオカメラにより人物追跡する場合に、ビデオカメラに映っている移動体が次に現れるビデオカメラの映像を好適に予測することのできる情報処理システム、情報処理方法、及びプログラムを提供する。(解決手段)複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別する画角内人物位置取得部110と、第1のビデオカメラの映像に映っている移動体が次に映る可能性が複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、第1のビデオカメラの映像内の移動体の移動方向に基づいて予測する出現確率算出・ソート部150とを備える。

Description

本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。
近年、複数のカメラで撮影される映像を利用して広範囲にわたる監視を可能とするシステムが考えられている。例えば特許文献1は、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾(モニタリング)を適切に行うことのできる装置を開示している。この装置は、人物がカメラ視野から消失した位置(Out点)と、その人物が次に出現するカメラ視野の位置(In点)とのペアに関するヒストグラムを作成することによりカメラ間の連結関係の有無を推定する機能や、当該連結関係に応じて、人物が次に出現する確率の高いカメラの映像をハイライト表示する機能等を有する。
特開2008−219570号公報
しかしながら、特許文献1記載の手法では、追跡対象の人物の消失位置を特定しない限り、次にその人物が出現するビデオカメラを特定することはできない。よって、例えば2つのビデオカメラの撮影位置が極めて近い場合等には、ハイライト表示する前に、当該人物がビデオカメラの撮影範囲に入り、フレームアウト(消失)する可能性もある。
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、複数のビデオカメラにより人物追跡する場合に、ビデオカメラに映っている移動体が次に現れるビデオカメラの映像を好適に予測することのできる情報処理システム、情報処理方法、及びプログラムを提供することを目的の1つとする。
本発明に係る情報処理システムは、複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別する識別手段と、前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測する予測手段とを備える。
本発明に係る情報処理方法は、複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別するステップと、前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測するステップとを画像処理システムが行う、画像処理方法。
本発明に係るプログラムは、複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別する処理と、前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測する予測処理とをコンピュータに実行させる。
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。
本発明によれば、複数のビデオカメラにより人物追跡する場合に、ビデオカメラに映っている移動体が次に現れるビデオカメラの映像を好適に予測することのできる情報処理システム、情報処理方法、及びプログラムを提供することができる。
第1実施形態に係る監視システムの概略構成を示す機能ブロック図である。 表示画面の具体例を示す図である。 出現確率の算出方法の具体例を説明するための図である。 図1に示した情報処理サーバの概略構成を示す機能ブロック図である。 図1に示す情報処理サーバの処理の流れを示すフローチャートである。 図1に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。 第2実施形態に係る監視装置の概略構成を示す機能ブロック図である。
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
(1 第1実施形態)
図1乃至図6は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、次の流れに従って本実施形態を説明する。まず、「1.1」でシステム構成の概要を示すとともに、「1.2」で動作の概要を、表示画面の具体例等を示しながら説明する。その後、「1.3」でシステムの機能構成を説明し、「1.4」で処理の流れを、「1.5」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「1.6」以降で、本実施形態に係る効果等を説明する。
(1.1 システム構成)
図1を参照しながら、本実施形態に係る情報処理システムである監視システム1のシステム構成を説明する。図1は、監視システム1のシステム構成を示すブロック図である。
監視システム1は、大きく分けて、情報処理サーバ100と、映像(動画像)を撮影(撮像)する複数のビデオカメラ200(ビデオカメラ200A乃至200Nを総称してビデオカメラ200と呼ぶ。)と、表示装置300と、入力装置400とから構成される。
以下、監視システム1は、撮影装置であるビデオカメラ200で撮影された人物を監視(追跡)するためのシステムであるものとして説明するが、監視対象はこれに限られるものではない。例えば、監視対象を車や自転車、バイク等の各種移動体に応用することも考えられる。
ビデオカメラ200は、映像(動画像)を撮影すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る映像内の位置(映像内の移動軌跡も含む)や特徴量などの情報を含む人物検出結果を、撮影映像と共に情報処理サーバ100へと送信する。また、ビデオカメラ200は、撮影した映像をフレーム間で比較することにより、映像内(画角内)の人物追跡も行うことができる。
なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、ビデオカメラ200上でなくとも、例えば、情報処理サーバ100や、図示しない他の情報処理装置上で行なっても良い。
情報処理サーバ100は、ビデオカメラ200で撮影された映像を解析することにより、ビデオカメラ200で撮影された人物が、次にどのビデオカメラに登場するかを予測する次カメラ予測を含む各種追跡処理を行う。
なお、情報処理サーバ100で処理する映像は、ビデオカメラ200により撮影されるリアルタイムの映像のみならず、ビデオカメラ200により撮影された後、記憶装置(例えば、HDD(Hard Disk Drive)やVCR(Video Cassette Recorder)など)に記憶された映像を対象に追跡(分析)することも考えられる。
更に、当該記憶装置に記憶された映像を逆順に再生(逆再生)して追跡することも考えられる。通常、ある人物が不審な行動を取った場合には、その人物がその行為までにどのような経路で移動し、どのような行動をとったのかを調べる必要があるため、このような逆再生による追跡を可能とすることは極めて有用である。
情報処理サーバ100における人物監視において、情報処理サーバ100は、監視用の画面などの各種表示画面を表示装置300に出力すると共に、入力装置400から、人物監視に係る各種操作入力に係る操作信号を受け付ける。より具体的には、例えば、表示装置300に表示する監視用画面(後述する図2に具体例を示す。)では、ビデオカメラ200から入力された映像を複数表示することで、監視対象の人物が今どこにいるのかを、監視者であるユーザが把握できるようにしている。
監視者であるユーザは、表示装置300を見て、あるビデオカメラ200の映像(動画像)に映った監視対象の人物が他のビデオカメラ200の映像に映った場合には、入力装置400を操作して、当該2人の人物を同一人物であるものとして対応付けることができる。これにより、当該人物の移動経路を情報処理サーバ100は特定することが可能となる。なお、人物間の対応付けは、映像に写った人物の特徴量などに基づいて、人手を介さずに情報処理サーバ100が行なっても良い。
さらに、情報処理サーバ100は、あるビデオカメラ200に映っている人物の移動方向や速度等を元に、当該人物が次にどのビデオカメラ200に映るのかを予測する次カメラ予測の機能を有する。この予測は、当該人物がフレームアウト(消失)する前から行うことができるため、たとえビデオカメラ200間の距離が近い場合であっても、監視者であるユーザは確実に次のビデオカメラ200を監視する準備をすることができるようになる。
表示装置300は、例えば、液晶や有機EL(Electro Luminescence)等に画像を表示するディスプレイである。情報処理サーバ100から出力される監視用画面は、表示装置300が表示する。
入力装置400は、ユーザ(監視者)が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネルなどの各種ポインティングデバイスやキーボード等が入力装置400に該当する。監視対象人物の登録や、登録された人物とビデオカメラ200に現れた人物とが同一人物である旨の対応付けやその修正等の各種処理は、ユーザの入力装置400に対する操作に基づいてなされる。
なお、情報処理サーバ100と表示装置300、入力装置400の構成は種々変えられる。例えば、表示装置300及び入力装置400を1台のクライアントとして実現することも考えられるし、或いは、情報処理サーバ100、表示装置300、及び入力装置400の機能を3台以上の情報処理装置により実現しても良い。また、表示装置300及び入力装置400を1台のクライアントとして実現する場合には、本実施形態に係る情報処理サーバ100の一部の機能を、当該クライアントにもたせても良い。
(1.2 動作説明)
(1.2.1 表示画面の具体例)
まず、図2を参照しながら、人物監視のために表示装置300が表示する表示画面の具体例を説明する。図2は、表示装置300が人物監視のために表示する表示画面(以下、監視用画面20ともいう。)の具体例を示す図である。
図2の例では、監視用画面20は、複数のビデオカメラ200から入力された撮影映像をそれぞれ表示する映像領域21A乃至21D(以下、総称して映像領域21ともいう。)を含む。
映像領域21は、前述の通り複数のビデオカメラ200から入力されたマルチカメラ映像を表示する。図2の例において、映像領域21Aの映像に人物Pが映っている。この人物Pは、進行方向aに向かって進んでいるものとする。情報処理サーバ100は、当該人物Pの進行方向やその速度を検出し、その進行方向や速度等に基づいて、その人物が次に登場するビデオカメラ200の映像と、その現れる位置とを予測する。情報処理サーバ100は、その可能性の高い順に映像領域21B乃至21Dに配置するビデオカメラ200の映像を選択して表示させる。
それぞれの映像領域21に表示されるビデオカメラ200の映像は、随時(動的に)切り換わる。例えば、監視対象の人物の動きに併せて、次に当該人物が出現する可能性の高い映像が変わる場合には、その可能性の高い順にビデオカメラ200の映像が並ぶように、情報処理サーバ100は映像領域21の映像を順次切り換える。
それぞれの映像領域21B乃至21D上には、出現位置示唆画像23B乃至23D(以下、総称して出現位置示唆画像23ともいう。)が配置されている。出現位置示唆画像23は、監視対象の人物Pが出現する可能性の高い映像上の位置を示している。ここで、情報処理サーバ100は、出現確率に応じて、出現位置示唆画像23の色を準じ変化させたり点滅させたりすることにより、人物Pの現れる可能性の高さ等をユーザに報知するようにしても良い。
(1.2.2 出現確率の算出方法の具体例)
以下、図3を参照しながら、人物がそれぞれのビデオカメラ200の撮影領域(すなわち、撮影映像)に現れる出現確率の算出方法の具体例を説明する。図3は、現在映像っているに映っている人物Pと、その人物Pが出現する可能性のあるビデオカメラ200の撮影範囲内の出現位置である出現位置B1、B2、C1、D1、D2にそれぞれ出現する出現確率の算出方法を説明するための図である。
本実施形態の例では、各出現位置への出現確率は、以下の式によって算出される。
Figure 2014061342
ここで、消失位置到着確率は、映像Vに映っている人物Pが当該映像V内に予め設定された消失位置A1乃至A3で消滅(フレームアウト)するそれぞれの確率である。また、出現位置到着確率は、人物Pがそれぞれの消失位置A1乃至A3のいずれかで映像Vから消滅した後、各出現位置に出現する確率である。
(1.2.2.1 消失位置到着確率)
消失位置到着確率は、人物Pの進行方向と、速度とに基づき、算出することができる。図3の例では、人物Pが消失位置A1乃至消失位置A3のそれぞれで消滅(フレームアウト)する消失位置到着確率は、0.01%、65%、35%である。ここで、消失位置到着確率の合計が100%を超えているのは、有効数字を2桁としているためである。
もう少し具体的に説明すると、消失位置A2は、進行方向aの略延長線上にある。よって、消失位置A2に人物Pが向かう消失位置到着確率は最も高くなっている。
消失位置A3は、進行方向aの略延長線上にはないものの、消失位置A2と同じく映像Vの下方にあることから、人物Pが到着する可能性は十分に高いものと考えられるため、消失位置到着確率は、消失位置A2に続いて高くなっている。
消失位置A1は、進行方向aとは逆の方向にある。よって、消失位置A1に係る消失位置到着確率は十分に低い値となっている。
また上述の通り、消失位置到着確率の算出においては、人物Pの速度も考慮することができる。人物Pの位置及び速度がわかれば、人物Pが消失位置A1乃至A3のそれぞれに到着するまでの時間を予測することができる。例えば、この時間が長い方が、人物Pがそれぞれの消失位置A1乃至A3に到着する確率が低いものと考えることができる。
ここで、人物Pの方向や速度(それぞれの消失位置A1乃至A3に到着するまでの時間に対応する)と、消失位置到着確率との関係は、予め経験則に基づいて設定しておいても良いし、若しくは、当該映像Vに映る多数の人物Pの動きに基づいて、統計的に求めても良い。
(1.2.2.2 出現位置到着確率)
出現位置到着確率は、例えば、各消失位置A1乃至A3から消失した人物Pがどの出現位置に出現するかを統計的に求めることで算出することができる。或いは、予め経験則に基づいて固定値として出現位置到着確率を設定しておくことも考えられる。
図3の例では、映像Vの消失位置A1から人物Pが消失した場合には、100%の確率で人物Pが出現位置C1に出現することがわかる。同様に、消失位置A2から人物Pが消失した場合には、40%の確率で出現位置D1に、60%の確率で出現位置D2に人物Pが出現することが、消失位置A3から人物Pが消失した場合には、95%の確率で出現位置B1に、5%の確率で出現位置B2に出現することがわかる。
なお、各消失位置A1乃至A3から各出現位置に至る時間も、映像Vにおける人物Pの速度と、予め設定された各消失位置A1乃至A3及び各出現位置間の距離とに基づいて算出することができる。
(1.2.2.3 出現確率)
上述の通り、各出現位置への人物Pの出現確率は、消失位置到着確率と出現位置到着確率との積により算出することができる。図3の例では、出現位置D2への出現確率が39%と最も高く、続いて出現位置B1(出現確率33%)、出現位置D1(出現確率26%)、出現位置B2(出現確率2%)、出現位置C1(出現確率0.01%)の順となっている。なお、端数の関係上、図3における出現確率の合計は100%となっていない。
(1.3 システムの機能構成)
次に、図4を参照しながら、本実施形態に係る情報処理サーバ100の機能構成を説明する。図4は、本実施形態に係る情報処理サーバ100の機能構成を示す機能ブロック図である。
図4に示すように、情報処理サーバ100は、画角内人物位置取得部110と、消失位置到着確率算出部120と、データベース(DB)130と、出現位置到着確率算出部140と、出現確率算出・ソート部150と、表示制御部160とを含む。
画角内人物位置取得部110は、ビデオカメラ200から入力を受けた人物検出結果に基づき、ビデオカメラ200の映像に映る人物Pの位置を検知する。更に、画角内人物位置取得部110は、人物Pの位置を時系列的に解析することにより、人物Pの移動方向や速度も算出することができる。
消失位置到着確率算出部120は、画角内人物位置取得部110で取得した情報と、DB130に格納されたカメラ間情報131とを元に、当該人物Pが、当該映像内のどの消失位置で消滅するかの確からしさを示す消失位置到着確率や、それぞれの消失位置に人物Pが到着する場合に要する時間を、消失位置毎に算出する。ここで、カメラ間情報131は、ビデオカメラ200の映像に設定された消失位置の情報や、消失位置到着確率の算出に必要となる各種情報を含む。消失位置到着確率の算出方法については、上記「1.2.2.1」で説明したので、ここでは説明を省略する。
出現位置到着確率算出部140は、それぞれの消失位置から人物Pが消滅した後、それぞれの出現位置に出現する確率を算出する。出現位置到着確率については、「1.2.2.2」を参照しながら説明したため、ここでは説明を省略する。
出現確率算出・ソート部150は、消失位置到着確率算出部120が算出した消失位置到着確率と、出現位置到着確率算出部140が算出した出現位置到着確率とに基づいて、人物Pが各出現位置に出現する出現確率を算出する。出現確率の算出方法については、上記「1.2」で説明したため、ここでは説明を省略する。
表示制御部160は、出現確率算出・ソート部150が算出した、各出現位置毎の出現確率に基づいて、図2に例示した監視用画面20を生成して表示装置300に表示させる。前述の通り、図2の監視用画面20では、出現確率の高い順に、各ビデオカメラ200の映像を3つ選んで並べると共に、それぞれの映像内の出現位置を出現位置示唆画像23で示している。
(1.4 処理の流れ)
以下、情報処理サーバ100の処理の流れを、図5を参照しながら説明する。図5は、本実施形態に係る情報処理サーバ100の処理の流れを示すフローチャートである。
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。
まず、画角内人物位置取得部110は、ビデオカメラ200から入力を受けた人物検出結果に基づき、ビデオカメラ200の映像に映る人物Pの映像内の位置を取得する(S501)。また、画角内人物位置取得部110は、人物Pの移動方向や速度の情報も併せて検知する。
次に、消失位置到着確率算出部120は、画角内人物位置取得部110が検知した人物Pの移動方向や速度等の情報に基づき、当該ビデオカメラ200の映像内に設定された各消失位置に係る消失位置到着確率を算出する(S503)。このとき、消失位置到着確率算出部120は、併せて、それぞれの消失位置に人物Pが到着する場合に要する時間も算出する。
出現位置到着確率算出部140は、人物Pが、現在映っているビデオカメラ200の映像の各消失位置から消滅した場合に、どの出現位置に現れるかを示す出現位置到着確率を算出する(S505)。
出現確率算出・ソート部150は、消失位置到着確率算出部120が算出した消失位置到着確率と、出現位置到着確率算出部140が算出した出現位置到着確率とに基づいて、人物Pが、現在映っているビデオカメラ200の次に出現可能な、各ビデオカメラ200内の出現位置に出現する出現確率を、それぞれ算出する。更に出現確率算出・ソート部150は、それぞれの出現位置を、出現確率の高い順に並べる(ソートする)(S509)。
表示制御部160は、出現確率算出・ソート部150が算出した出現確率に応じて、人物Pが出現する確率の高い出現位置を、例えば図2の監視用画面20のような表示画面によりユーザに提示する(S511)。
(1.5 ハードウェア構成)
以下、図6を参照しながら、上述してきた情報処理サーバ100をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、情報処理サーバ100の機能は、複数の情報処理装置により実現することも可能である。
図6に示すように、情報処理サーバ100は、プロセッサ601、メモリ603、記憶装置605、入力インタフェース(I/F)607、データI/F609、通信I/F611、及び表示装置613を含む。
プロセッサ601は、メモリ603に記憶されているプログラムを実行することにより情報処理サーバ100における様々な処理を制御する。たとえあ、図4で説明した画角内人物位置取得部110、消失位置到着確率算出部120、出現位置到着確率算出部140、出現確率算出・ソート部150及び表示制御部160に係る処理は、メモリ603に一時記憶された上で、主にプロセッサ601上で動作するプログラムとして実現可能である。
メモリ603は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ603は、プロセッサ601によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ603の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
記憶装置605は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置605は、オペレーティングシステムや、画角内人物位置取得部110、消失位置到着確率算出部120、出現位置到着確率算出部140、出現確率算出・ソート部150、及び表示制御部160を実現するための各種プログラムや、DB130に含まれるカメラ間情報131等の各種データなどを記憶する。記憶装置605に記憶されているプログラムやデータは、必要に応じてメモリ603にロードされることにより、プロセッサ601から参照される。
入力I/F607は、ユーザからの入力を受け付けるためのデバイスである。図1で説明した入力装置400は、入力I/F607により実現することも可能である。入力I/F607の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力I/F607は、例えばUSB(Universal Serial Bus)等のインタフェースを介して情報処理サーバ100に接続されても良い。
データI/F609は、情報処理サーバ100の外部からデータを入力するためのデバイスである。データI/F609の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データI/F609は、情報処理サーバ100の外部に設けられることも考えられる。その場合、データI/F609は、例えばUSB等のインタフェースを介して情報処理サーバ100へと接続される。
通信I/F611は、情報処理サーバ100の外部の装置、例えばビデオカメラ200などとの間で有線又は無線によりデータ通信するためのデバイスである。通信I/F611は情報処理サーバ100の外部に設けられることも考えられる。その場合、通信I/F611は、例えばUSB等のインタフェースを介して情報処理サーバ100に接続される。
表示装置613は、各種情報を表示するためのデバイスである。図1で説明した表示装置300は、表示装置613により実現することも可能である。表示装置613の具体例としては、例えば液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置613は、情報処理サーバ100の外部に設けられても良い。その場合、表示装置613は、例えばディスプレイケーブル等を介して情報処理サーバ100に接続される。
(1.6 本実施形態に係る効果)
以上説明したように、本実施形態に係る監視システム1では、監視対象の人物が、まだビデオカメラ200の映像に映っている間に、当該人物が次に出現する出現位置(次に出現するビデオカメラ200の撮影映像及びその映像内の位置)を予測する。更に監視システム1は、この予測に基づき、当該人物が出現する可能性が他のビデオカメラ200よりも高いビデオカメラ200の映像やその出現位置をユーザに提示するため、ユーザの監視負荷を軽減することが可能となる。すなわち、監視システム1は、ビデオカメラ200に映る人物が次に現れるビデオカメラ200の映像を好適に予測することができる。
(2 第2実施形態)
以下、第2実施形態を、図7を参照しながら説明する。図7は、情報処理システムである監視装置700の機能構成を示すブロック図である。図7に示すように、監視装置700は、識別部710と予測部720とを含む。
識別部710は、図示しない複数のビデオカメラのうち、あるビデオカメラ(ここでは、第1のビデオカメラと呼ぶ。)の映像に映る移動体の移動方向を識別する。移動体の具体例としては、例えば人物や、車、自転車、バイク等を挙げることができる。
予測部720は、第1のビデオカメラの映像に映っている移動体が、次に映る可能性が他のビデオカメラよりも高い1以上のビデオカメラ(ここでは、第2のビデオカメラと呼ぶ。)を、第1のビデオカメラの映像内における、移動体の移動方向に基づいて予測する。
このように実装することで、本実施形態に係る監視装置700によれば、複数のビデオカメラにより人物追跡する場合に、ビデオカメラに映る人物が次に現れるビデオカメラの映像を好適に予測することができるようになる。
(3 付記事項)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
(付記1)
複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別する識別手段と、前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測する予測手段とを備える情報処理システム。
(付記2)
前記予測手段は、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて、前記移動体が当該映像内の各消失位置へ向かう第1の確率を決定すると共に、それぞれの消失位置から他のビデオカメラの撮影位置へと前記移動体が向かう第2の確率と前記第1の確率とに基づいて、前記第2のビデオカメラを予測する、付記1記載の情報処理システム。
(付記3)
前記予測手段で予測した複数の前記第2のビデオカメラの映像を、前記移動体が次に映る可能性の高さの順に表示装置に表示させる表示制御手段を更に備える、付記1又は付記2に記載の情報処理システム。
(付記4)
前記識別手段は、前記移動体の移動方向及び速度を識別し、前記予測手段は、前記移動体の移動方向及び速度に基づいて前記第2のビデオカメラを予測する、付記1乃至付記3のいずれか1項記載の情報処理システム。
(付記5)
前記予測手段は、前記移動体の前記第2のビデオカメラ内の出現位置を予測する、付記1乃至付記4記載の情報処理システム。
(付記6)
複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別するステップと、前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測するステップとを画像処理システムが行う、画像処理方法。
(付記7)
前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて、前記移動体が当該映像内の各消失位置へ向かう第1の確率を決定すると共に、それぞれの消失位置から他のビデオカメラの撮影位置へと前記移動体が向かう第2の確率と前記第1の確率とに基づいて、前記第2のビデオカメラを予測する、付記6記載の情報処理方法。
(付記8)
予測した複数の前記第2のビデオカメラの映像を、前記移動体が次に映る可能性の高さの順に表示装置に表示させるステップを更に備える、付記6又は付記7に記載の情報処理方法。
(付記9)
前記移動体の移動方向及び速度に基づいて前記第2のビデオカメラを予測する、付記6乃至付記7のいずれか1項記載の情報処理方法。
(付記10)
前記移動体の前記第2のビデオカメラ内の出現位置を予測する、付記6乃至付記9記載の情報処理方法。
(付記11)
複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別する処理と、前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測する予測処理とをコンピュータに実行させるプログラム。
(付記12)
前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて、前記移動体が当該映像内の各消失位置へ向かう第1の確率を決定すると共に、それぞれの消失位置から他のビデオカメラの撮影位置へと前記移動体が向かう第2の確率と前記第1の確率とに基づいて、前記第2のビデオカメラを予測する、付記11記載のプログラム。
(付記13)
予測した複数の前記第2のビデオカメラの映像を、前記移動体が次に映る可能性の高さの順に表示装置に表示させる処理を更にコンピュータに実行させる、付記11又は付記12に記載のプログラム。
(付記14)
前記移動体の移動方向及び速度に基づいて前記第2のビデオカメラを予測する、付記11乃至付記13のいずれか1項記載のプログラム。
(付記15)
前記移動体の前記第2のビデオカメラ内の出現位置を予測する、付記11乃至付記14記載のプログラム情報処理システム。
この出願は、2012年10月18日に出願された日本出願特願2012−231086を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1・・・監視システム、20・・・監視用画面、21・・・映像領域、23・・・出現位置示唆画像、100・・・情報処理サーバ、110・・・画角内人物位置取得部、120・・・消失位置到着確率算出部、130・・・データベース、131・・・カメラ間情報、140・・・出現位置到着確率算出部、150・・・出現確率算出・ソート部、160・・・表示制御部、200・・・ビデオカメラ、300・・・表示装置、400・・・入力装置、601・・・プロセッサ、603・・・メモリ、605・・・記憶装置、607・・・入力インタフェース、609・・・データインタフェース、611・・・通信インタフェース、613・・・表示装置、700・・・監視装置、710・・・識別部、720・・・予測部

Claims (7)

  1. 複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別する識別手段と、
    前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測する予測手段と
    を備える情報処理システム。
  2. 前記予測手段は、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて、前記移動体が当該映像内の各消失位置へ向かう第1の確率を決定すると共に、それぞれの消失位置から他のビデオカメラの撮影位置へと前記移動体が向かう第2の確率と前記第1の確率とに基づいて、前記第2のビデオカメラを予測する、
    請求項1記載の情報処理システム。
  3. 前記予測手段で予測した複数の前記第2のビデオカメラの映像を、前記移動体が次に映る可能性の高さの順に表示装置に表示させる表示制御手段
    を更に備える、請求項1又は請求項2に記載の情報処理システム。
  4. 前記識別手段は、前記移動体の移動方向及び速度を識別し、
    前記予測手段は、前記移動体の移動方向及び速度に基づいて前記第2のビデオカメラを予測する、
    請求項1乃至請求項3のいずれか1項記載の情報処理システム。
  5. 前記予測手段は、前記移動体の前記第2のビデオカメラ内の出現位置を予測する、
    請求項1乃至請求項4記載の情報処理システム。
  6. 複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別するステップと、
    前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測するステップと
    を画像処理システムが行う、画像処理方法。
  7. 複数のビデオカメラのうち、第1のビデオカメラの映像に映る移動体の移動方向を識別する処理と、
    前記第1のビデオカメラの映像に映っている前記移動体が次に映る可能性が前記複数のビデオカメラの中の他のビデオカメラよりも高い1以上の第2のビデオカメラを、前記第1のビデオカメラの映像内の前記移動体の移動方向に基づいて予測する予測処理と
    をコンピュータに実行させるプログラム。
JP2014541985A 2012-10-18 2013-08-15 情報処理システム、情報処理方法及びプログラム Active JP6347211B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012231086 2012-10-18
JP2012231086 2012-10-18
PCT/JP2013/071951 WO2014061342A1 (ja) 2012-10-18 2013-08-15 情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2014061342A1 true JPWO2014061342A1 (ja) 2016-09-05
JP6347211B2 JP6347211B2 (ja) 2018-06-27

Family

ID=50487919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014541985A Active JP6347211B2 (ja) 2012-10-18 2013-08-15 情報処理システム、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US9390332B2 (ja)
EP (1) EP2911388B1 (ja)
JP (1) JP6347211B2 (ja)
BR (1) BR112015008383A2 (ja)
IN (1) IN2015DN02906A (ja)
WO (1) WO2014061342A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393961B1 (en) * 2012-09-19 2016-07-19 Google Inc. Verifying a target object with reverse-parallax analysis
JP6465600B2 (ja) * 2014-09-19 2019-02-06 キヤノン株式会社 映像処理装置および映像処理方法
JP6527729B2 (ja) * 2015-03-20 2019-06-05 環境機器株式会社 画像処理装置及び画像処理プログラム
US10146797B2 (en) * 2015-05-29 2018-12-04 Accenture Global Services Limited Face recognition image data cache
US9996749B2 (en) * 2015-05-29 2018-06-12 Accenture Global Solutions Limited Detecting contextual trends in digital video content
US10277831B2 (en) * 2016-03-25 2019-04-30 Fuji Xerox Co., Ltd. Position identifying apparatus and method, path identifying apparatus, and non-transitory computer readable medium
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6846963B2 (ja) * 2017-03-16 2021-03-24 三菱電機インフォメーションネットワーク株式会社 映像再生装置、映像再生方法、映像再生プログラム及び映像再生システム
US10223591B1 (en) * 2017-03-30 2019-03-05 Amazon Technologies, Inc. Multi-video annotation
RU2670429C1 (ru) 2017-11-24 2018-10-23 ООО "Ай Ти Ви групп" Системы и способы отслеживания движущихся объектов на видеоизображении
FR3076377B1 (fr) * 2017-12-29 2021-09-24 Bull Sas Prediction de deplacement et de topologie pour un reseau de cameras.
US11501568B2 (en) 2018-03-23 2022-11-15 Nec Corporation Information processing apparatus, person search system, place estimation method, and non-transitory computer readable medium storing program
US11010599B2 (en) * 2019-05-01 2021-05-18 EMC IP Holding Company LLC Facial recognition for multi-stream video using high probability group and facial network of related persons
US11334746B2 (en) 2019-05-01 2022-05-17 EMC IP Holding Company LLC Facial recognition for multi-stream video using high probability group

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266404A (ja) * 2003-02-28 2004-09-24 Hitachi Ltd 追尾型協調監視システム
JP2006081053A (ja) * 2004-09-13 2006-03-23 Mitsubishi Electric Corp 移動体追跡支援システム
JP2007329636A (ja) * 2006-06-07 2007-12-20 Tietech Co Ltd 監視システム
JP2008537380A (ja) * 2005-03-25 2008-09-11 インテリヴィド コーポレイション インテリジェントなカメラ選択および対象追跡
JP2008219570A (ja) * 2007-03-06 2008-09-18 Matsushita Electric Ind Co Ltd カメラ間連結関係情報生成装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242423B2 (en) * 2003-06-16 2007-07-10 Active Eye, Inc. Linking zones for object tracking and camera handoff

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266404A (ja) * 2003-02-28 2004-09-24 Hitachi Ltd 追尾型協調監視システム
JP2006081053A (ja) * 2004-09-13 2006-03-23 Mitsubishi Electric Corp 移動体追跡支援システム
JP2008537380A (ja) * 2005-03-25 2008-09-11 インテリヴィド コーポレイション インテリジェントなカメラ選択および対象追跡
JP2007329636A (ja) * 2006-06-07 2007-12-20 Tietech Co Ltd 監視システム
JP2008219570A (ja) * 2007-03-06 2008-09-18 Matsushita Electric Ind Co Ltd カメラ間連結関係情報生成装置

Also Published As

Publication number Publication date
EP2911388B1 (en) 2020-02-05
BR112015008383A2 (pt) 2017-07-04
JP6347211B2 (ja) 2018-06-27
WO2014061342A1 (ja) 2014-04-24
EP2911388A1 (en) 2015-08-26
IN2015DN02906A (ja) 2015-09-11
US20150294159A1 (en) 2015-10-15
US9390332B2 (en) 2016-07-12
EP2911388A4 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
JP6347211B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20200344436A1 (en) Image processing system, image processing method, and program
US20210012632A1 (en) Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not
JP2020191646A (ja) 情報処理システム、情報処理方法及びプログラム
JP6213843B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6210234B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
US9589192B2 (en) Information processing system, information processing method, and program
JP6233721B2 (ja) 情報処理システム、情報処理方法及びプログラム
US10368010B2 (en) Image processing system, image processing method, and program
JP6304473B2 (ja) 画像処理システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180514

R150 Certificate of patent or registration of utility model

Ref document number: 6347211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150