JPWO2014050432A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JPWO2014050432A1 JPWO2014050432A1 JP2014538306A JP2014538306A JPWO2014050432A1 JP WO2014050432 A1 JPWO2014050432 A1 JP WO2014050432A1 JP 2014538306 A JP2014538306 A JP 2014538306A JP 2014538306 A JP2014538306 A JP 2014538306A JP WO2014050432 A1 JPWO2014050432 A1 JP WO2014050432A1
- Authority
- JP
- Japan
- Prior art keywords
- person
- time
- persons
- correspondence
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Collating Specific Patterns (AREA)
- Alarm Systems (AREA)
Abstract
【課題】映像に映る人物の対応付けを好適に推定することのできる情報処理システム、情報処理方法、及びプログラムを提供する。【解決手段】第1の時刻に複数のビデオカメラ200でそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定めると共に、第1の時刻又は第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、第1の時刻に映る人物と第2の時刻に映る人物との対応関係を推定する対応関係推定部140と、第1の時刻に撮影された1以上の人物の少なくとも一部と、第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける追跡人物登録部130とを備える。
Description
本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。
近年、複数のカメラからの映像を利用して広範囲にわたる監視を行うシステムが考えられている。例えば特許文献1は、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾(モニタリング)を適切に行うことのできる装置を開示している。この装置は、カメラ視野に出現した点(In点)と、カメラ視野から消失した点(Out点)における人物特徴量の類似度に応じて、人物の対応関係を求める。
特許文献1記載の装置のように、類似度に応じて自動的に人物の対応関係を定める場合には、一定の確率で誤りが生じる。そこで、人間が関与する形で人物の対応付けを行うことが求められている。しかしながら、人間が対応付けを行う場合であっても、外見の似た人物が複数存在するような場合には対応付けを確定できない場合もある。
そこで、なるべく確度の高いユーザ入力に基づいて、人物間の対応関係を精度よく推定することが必要である。
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、映像に映る人物の対応付けを好適に推定することのできる情報処理システム、情報処理方法、及びプログラムを提供することを目的の1つとする。
本発明に係る情報処理システムは、第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める第1の演算手段と、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する第2の演算手段と、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける入力手段とを備え、前記第1の演算手段は、前記入力部から入力された前記対応情報に基づき、少なくとも一部の尺度を定める。
本発明に係る情報処理方法は、第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定めるステップと、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定するステップと、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受けるステップとを情報処理システムが行ない、前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める。
本発明に係るプログラムは、第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める処理と、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する処理と、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける処理とをコンピュータに実行させ、前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める。
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。
本発明によれば、映像に映る人物の対応付けを好適に推定することのできる情報処理システム、情報処理方法、及びプログラムを提供することができる。
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
(1 第1実施形態)
図1乃至図10は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず「1.1」でシステムの機能構成の概要を示すと共に、「1.2」で動作の概要を、表示画面の具体例等を示しながら説明する。その後、「1.3」で処理の流れを、「1.4」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「1.5」以降で、本実施形態に係る効果などを説明する。
図1乃至図10は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず「1.1」でシステムの機能構成の概要を示すと共に、「1.2」で動作の概要を、表示画面の具体例等を示しながら説明する。その後、「1.3」で処理の流れを、「1.4」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「1.5」以降で、本実施形態に係る効果などを説明する。
(1.1 システム構成)
(1.1.1 システム構成概要)
図1を参照しながら、本実施形態に係る情報処理システムである監視システム1のシステム構成を説明する。図1は、監視システム1のシステム構成を示すブロック図である。
(1.1.1 システム構成概要)
図1を参照しながら、本実施形態に係る情報処理システムである監視システム1のシステム構成を説明する。図1は、監視システム1のシステム構成を示すブロック図である。
監視システム1は、大きく分けて、情報処理サーバ100と、映像(動画像)を撮像(撮影)する複数のビデオカメラ200(ビデオカメラ200A乃至200Nを総称してビデオカメラ200と呼ぶ。)と、表示装置300と、入力装置400とから構成される。
以下、監視システム1は、ビデオカメラ200で撮影された人物を監視するためのシステムであるものとして説明するが、監視対象を車や自転車、バイクなどの移動体に応用することも考えられる。
ビデオカメラ200は、映像(動画像)を撮像すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る位置や特徴量などの情報を、撮影動画像と共に情報処理サーバ100へと送信する。また、ビデオカメラ200は、撮影した動画像をフレーム間で比較することにより、動画像内の人物追跡も行うことができる。
なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、例えば、情報処理サーバ100や、図示しない他の情報処理装置上で行なっても良い。
なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、例えば、情報処理サーバ100や、図示しない他の情報処理装置上で行なっても良い。
情報処理サーバ100は、ビデオカメラ200で撮像された動画像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡などの各種処理を行う。
なお、以下ではビデオカメラ200により撮影されるリアルタイムの映像を元に人物監視を行う場合を中心に説明するが、これに限られるものではなく、例えば、ビデオカメラ200により撮影された後、記憶装置(例えば、HDD(Hard Disk Drive)やVCR(Video Cassette Recorder)など)に記憶された動画像を対象に追跡(分析)することも考えられる。更に、当該記憶装置に記憶された動画像を逆順に再生(逆再生)して追跡することも考えられる。通常、ある人物が不審な行動をとった場合には、その人物がその行為までにどのような経路で移動し、どのような行動をとったかを調べる必要があるため、このような逆再生による追跡を可能とすることは極めて有用である。
情報処理サーバ100による人物監視において、情報処理サーバ100は、表示装置300に監視用の画面を出力すると共に、入力装置400から、人物監視に係る各種操作入力に係る操作信号を受け付ける。より具体的には、例えば、表示装置300に表示する監視用画面(後述する図3に具体例を示す。)では、ビデオカメラ200から入力された映像を複数表示することで、監視対象の人物が今どこにいるのかを、監視者であるユーザが把握できるようにしている。
監視者であるユーザは、表示装置300を見て、あるビデオカメラ200の映像(動画像)に映った監視対象の人物が他のビデオカメラ200の映像に映った場合には、入力装置400を操作して、当該2人の人物を同一人物であるものとして対応付ける。また、本実施形態では、2人の人物が同一人物ではないことも対応付けられる。このように、ユーザの人手を介した人物の対応付けを行うこと、並びに、同一人物であること及び同一人物ではないことの2つの情報をユーザに入力可能とすることにより、多くの監視対象者に係る対応関係を好適に推定することを可能としている。この処理及び利点については後述する。
表示装置300は、例えば、液晶や有機EL(Electro Luminescence)等に画像を表示するディスプレイである。情報処理サーバ100から出力される監視用画面は、表示装置300が表示する。
入力装置400は、ユーザ(監視者)が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネル等のポインティングデバイスやキーボード等が入力装置400に該当する。監視対象人物の登録や、登録された人物とビデオカメラ200に新たに登場した人物との対応付け(同一人物としての入力、及び同一人物ではないことの入力)等の各種処理は、ユーザの入力装置400に対する操作に基づいてなされる。
なお、情報処理サーバ100と表示装置300、入力装置400の構成は種々考えられる。例えば、表示装置300及び入力装置400を、1台のクライアントとして実現することも考えられるし、或いは、情報処理サーバ100、表示装置300、及び入力装置400の機能を4台以上の情報処理装置により実現しても良い。また、表示装置300及び入力装置400を、1台のクライアントとして実現する場合には、本実施形態に係る情報処理サーバ100の一部の機能を、当該クライアントに持たせても良い。
(1.1.2 情報処理サーバ100の構成)
以下、本実施形態に係る情報処理サーバ100の構成を説明する。情報処理サーバ100は、図1に示すように、入力部110、類似度算出部120、追跡人物登録部130、対応関係推定部140、表示制御部150、及びデータベース(DB)160を含む。なお、情報処理サーバ100の機能は、複数の情報処理装置(コンピュータ)により実現しても良い。
以下、本実施形態に係る情報処理サーバ100の構成を説明する。情報処理サーバ100は、図1に示すように、入力部110、類似度算出部120、追跡人物登録部130、対応関係推定部140、表示制御部150、及びデータベース(DB)160を含む。なお、情報処理サーバ100の機能は、複数の情報処理装置(コンピュータ)により実現しても良い。
入力部110は、ビデオカメラ200から受信した映像や人物検出結果の情報を、撮影動画像163や検出人物情報165、及び人物追跡情報167としてDB160へ登録する。入力部110がDB160に登録する検出人物情報165には、ビデオカメラ200により検出された人物の特徴量の情報が含まれる。また、入力部110がDB160に登録する人物追跡情報167には、ビデオカメラ200により検出された人物が、当該1台のビデオカメラ200内でどのような移動をしたかのカメラ内追跡結果の情報等が含まれる。
類似度算出部120は、ビデオカメラ200から入力された動画像に映る人物と、検出人物情報165に登録された人物との類似度を算出する。このとき、類似度算出部120は、登録された各人物に係る複数の人物画像(同一人物の複数のタイミングに係る人物画像)の中から、ビデオカメラ200から入力された動画像内の人物の画像と姿勢が類似する人物画像を選択した上で類似度を算出するようにしてもよい。このように実装することで、類似度算出の精度を高めることが可能となる。
追跡人物登録部130は、ビデオカメラ200から入力された撮影動画像の中に映っている人物を、入力装置400から入力されたユーザ操作等に基づき、追跡対象の被監視者(監視対象者/追跡対象者)としてDB160の人物追跡情報167へ登録する。また、追跡人物登録部130は、ビデオカメラ200から入力された撮影映像の中に映っている人物が、人物追跡情報167に既に登録された人物と同一人物である、もしくは同一人物ではないとユーザに判定された場合には、その情報を人物追跡情報167に登録することもできる。
対応関係推定部140は、人物追跡情報167に既に登録された人物と同一人物である旨、及び同一人物ではない旨のユーザ入力に基づき、各ビデオカメラ200の異なる時刻に映った人物の対応関係を推定し、当該結果を人物追跡情報167に登録する。具体的な手法は図2等を参照しながら後述するが、ユーザがある人物に係る同一人物である/同一人物ではない旨の入力を行った場合に、対応関係推定部140は、その他の人物にかかる同一人物であるか否かの対応関係をも予測する。
表示制御部150は、監視用画面等の各種表示画面を表示装置300に表示させる。表示制御部150は、動画表示部151、UI生成部153、及び移動履歴生成部155を含む。
動画表示部151は、入力部110により入力された撮影映像を表示装置300に表示させる。後述の図3の例では、監視用画面の一部に、動画表示部151が表示させる映像領域が設けられる。なお、動画表示部151が表示装置300に表示させる映像はリアルタイムの映像でなくとも良い。もし、記録映像を表示装置300に表示させる場合には、動画表示部151は、DB160から撮影動画像163を読みだして表示装置300に表示させることとなる。
UI生成部153は、後述する図3や図8等に具体例を示す各種表示画面を生成して表示装置300に表示させる。UI生成部153が生成及び提供するGUI(Graphical User Interface)により、監視対象人物の登録や同一人物であるか否かの対応付け等を行う。
移動履歴生成部155は、人物追跡情報167に基づき、後述する図8に具体例を示す移動履歴表示画面に表示する、監視対象人物の移動履歴を生成する。
移動履歴生成部155は、人物追跡情報167に基づき、後述する図8に具体例を示す移動履歴表示画面に表示する、監視対象人物の移動履歴を生成する。
DB160は、例えば図示しないHDD等の各種記憶装置上に構築される。DB160は、カメラ配置情報161、撮影動画像163、検出人物情報165、人物追跡情報167を記憶する。
カメラ配置情報161は、カメラ間の隣接関係や、カメラ間の距離(或いは、カメラ間の移動に必要となる平均時間)等の情報を含む。カメラ配置情報161は、対応関係推定部140による対応関係の推定や、移動履歴生成部155による移動履歴の生成等に使用される。
人物追跡情報167は、ビデオカメラ200が撮影した各人物(監視対象人物のみならず、検出された全ての人物)に係る追跡情報を含む。より具体的には、ビデオカメラ200で検出された人物のカメラ内追跡情報(同じ画角で、どのような経路で移動したかを示す情報)や、あるビデオカメラ200に映った人物が、その後どのビデオカメラ200の撮影範囲に移動したか(それぞれのビデオカメラ200の異なる時刻に映った各人物が、どのように対応するかの対応情報に相当する)、ユーザがどのような対応付けを行ったか、等の情報を、人物追跡情報167が含む。
(1.2 動作の概要)
以下、図2乃至図8を参照しながら、監視システム1の機能や動作を説明する。
以下、図2乃至図8を参照しながら、監視システム1の機能や動作を説明する。
(1.2.2 人物監視の概略)
まず、図2を参照しながら、人物追跡(人物監視)の概略を説明する。
本実施形態に係る監視システム1では、前述の通り、ユーザが表示装置300の表示画面を見て、あるビデオカメラ200の映像に映った監視対象の人物(監視対象として登録済みの人物)が他のビデオカメラ200に映った場合には、入力装置400を操作して、当該2人の人物を同一人物として対応付ける。また、監視対象の人物ではない場合には、入力装置400を操作して、当該2人の人物が同一人物ではないことを入力する。このような同一人物であること、及び同一人物ではないこと、をユーザに入力可能とすることにより、監視システム1では、あり得る人物の対応関係の中で可能性の高い人物の対応関係を求める。
まず、図2を参照しながら、人物追跡(人物監視)の概略を説明する。
本実施形態に係る監視システム1では、前述の通り、ユーザが表示装置300の表示画面を見て、あるビデオカメラ200の映像に映った監視対象の人物(監視対象として登録済みの人物)が他のビデオカメラ200に映った場合には、入力装置400を操作して、当該2人の人物を同一人物として対応付ける。また、監視対象の人物ではない場合には、入力装置400を操作して、当該2人の人物が同一人物ではないことを入力する。このような同一人物であること、及び同一人物ではないこと、をユーザに入力可能とすることにより、監視システム1では、あり得る人物の対応関係の中で可能性の高い人物の対応関係を求める。
以下、図2を参照しながら、もう少し詳細に具体例を説明する。図2の例では、時刻tには、「Camera001」、「Camera002」、及び「Camera003」に相当する3台のビデオカメラ200の映像に、それぞれ人物A、人物B、及び人物Cが映り、時刻t+1に、「Camera001」及び「Camera002」に、それぞれ人物X及び人物Yが映っている。
ここで、図2の例において、経路上、「Camera001」の画面右側、及び「Camera003」の画面右側から、「Camera002」の撮影範囲の画面左側に移動可能であり、また、「Camera002」の画面右側から「Camera001」の画面左側に移動可能であるものとする。また、人物Yは人物A及び人物Cと外見が近似(すなわち、特徴が近似している。例えば、服装の色が近い場合などに相当する。)しており、人物Xは人物Bと外見が近似しているものとする。
この場合、人物Xに関しては、類似する特徴を持つのが人物Bしかいないため、人物Xと人物Bとは同一人物である可能性が高い。一方、人物Yに関しては、類似する特徴が2人(人物A及び人物C)いるため、人物Yがいずれの人物に対応づくのかを決定するのは困難である。しかしながら、人物Yは、少なくとも人物Bではないことはユーザには容易に判別できる。
このような「同一人物であること」「同一人物ではないこと」の、信頼性の高い対応関係の入力を組み合わせていくことで、時刻t+1、時刻t+2・・・といった、将来的な人物の移動可能性の探索範囲を狭めることができるため、監視システム1では、あり得る(可能性の高い)人物の対応関係の組合せを好適に推測できるようになる。
人物の対応関係の推測方法については、図5乃至図7を参照しながら後述する。
人物の対応関係の推測方法については、図5乃至図7を参照しながら後述する。
(1.2.3 表示画面の具体例)
以下、図3及び図4を参照しながら、表示装置300が表示する表示画面の具体例を説明する。図3は、表示装置300が、人物監視のために表示する表示画面(以下、監視用画面30ともいう。)の具体例を示す図である。
以下、図3及び図4を参照しながら、表示装置300が表示する表示画面の具体例を説明する。図3は、表示装置300が、人物監視のために表示する表示画面(以下、監視用画面30ともいう。)の具体例を示す図である。
図3の監視用画面30の例では、複数のビデオカメラ200から入力された撮影映像を表示する映像領域31A乃至31D(以下、総称して映像領域31ともいう。)と、監視対象の人物が表示される監視対象者表示領域33とを含む。
映像領域31は、前述の通り複数のビデオカメラ200から入力されたマルチカメラ映像を表示する。ここで、それぞれの映像領域31に表示されるビデオカメラ200の映像は随時切り換わっても良い。例えば、監視対象の人物が表示領域から外れた後、当該人物の移動に併せて、次にその人物が現れると予測できるビデオカメラ200の映像に切り換える等の制御をUI生成部153及び動画表示部151は行なっても良い。
監視対象者表示領域33は、監視者であるユーザが、映像領域31に映った人物のうち、監視対象に選んだ人物が登録される領域である。図3の例のように、監視対象者は複数選択することができる(図3の例では3名)。また、それぞれの人物に対して、例えば正面と背面等、姿勢の異なる複数の人物画像(図3の例では2つ)が監視対象者表示領域33に表示される。
更に、図3の監視用画面30の例では、映像領域31Dに映る人物Pの上方にポップアップウィンドウ35が表示されている。ポップアップウィンドウ35は、人物Pを監視対象とするか否か、及び、既に監視対象として監視対象者表示領域33上に登録されている人物と同一人物であるか、同一人物ではないか、を選択可能とするためのものである。
ポップアップウィンドウ35は、新たに検出された人物Pの近傍に表示されると共に、人物Pの移動(動き)に伴い、ポップアップウィンドウ35の位置も移動する。このように近傍に表示することで、新たに登録すべき人物Pの特定を容易にしたり、人物Pと監視対象者との比較を容易にしたり、操作範囲を狭めたり、といった効果を得ることが可能となる。
なお、ポップアップウィンドウ35は、必ずしも人物Pの動きに合わせて移動する必要はない。例えば、少なくとも一定時間は一定箇所に固定させて表示させても良い。これにより、ポップアップウィンドウ35が移動する場合よりも、入力しやすくなる。
また、ポップアップウィンドウ35が表示されると、ポップアップウィンドウ35と重なった映像領域31を見ることができずに視認性が悪くなることもあるので、ポップアップウィンドウ35の外側をクリック(選択)するとポップアップウィンドウ35が非表示となる機能や、逆に映像領域31内の人物Pの周辺を含む領域(人物領域)をクリックすると、ポップアップウィンドウ35が表示される機能を追加しても良い。
また、ポップアップウィンドウ35が表示されると、ポップアップウィンドウ35と重なった映像領域31を見ることができずに視認性が悪くなることもあるので、ポップアップウィンドウ35の外側をクリック(選択)するとポップアップウィンドウ35が非表示となる機能や、逆に映像領域31内の人物Pの周辺を含む領域(人物領域)をクリックすると、ポップアップウィンドウ35が表示される機能を追加しても良い。
(1.2.4 ポップアップウィンドウの具体例)
図4は、ポップアップウィンドウ35の具体例を示す図である。図4の例において、ID1、ID2、及びID3がそれぞれ割り当てられた監視対象者のサムネイルである人物画像41A乃至41C(以下、総称して人物画像41ともいう。)と、ID4が割り当てられた空白画像43とが並列に並べられている。
図4は、ポップアップウィンドウ35の具体例を示す図である。図4の例において、ID1、ID2、及びID3がそれぞれ割り当てられた監視対象者のサムネイルである人物画像41A乃至41C(以下、総称して人物画像41ともいう。)と、ID4が割り当てられた空白画像43とが並列に並べられている。
ユーザが人物画像41を選択すると、追跡人物登録部130は、当該人物画像41に対応する監視対象者と、映像(動画像)に映る人物Pとを同一人物として対応付ける。また、ユーザが空白画像43を選択すると、追跡人物登録部130は、映像に映る人物Pを、ID4を持つ新規の監視対象者として登録する。
更に、人物画像41の下方には、同一人物ではないことをユーザが登録するための登録ボタン45A乃至45C(図中、removeを意味する「rem」と表記されている。以下、総称して登録ボタン45ともいう。)は、既に登録されているID1、ID2及びID3に対応する監視対象者と、映像に映る人物Pとが同一人物ではないことをユーザが登録するためのものである。
またこのとき、ポップアップウィンドウ35上に配置される各人物は、それぞれ人物Pと一致する可能性の高い順もしくは低い順に並べても良い。この、人物Pと一致する可能性は、対応関係推定部140が推定(算出)することが可能である。或いは、一致する可能性の低い人物は、予めポップアップウィンドウ35に表示しないようにしても良い。このような手法をとることにより、ユーザによる人物Pと対応する(もしくは対応しない)人物の選択を容易にすることが可能となる。
(1.2.5 対応関係の推定方法)
以下、図5乃至図7を参照しながら、ビデオカメラ200で撮影された人物の対応関係を推定する方法を説明する。図5乃至図7は、ビデオカメラ200で撮像された人物間の対応関係の推定方法を説明するための図である。
以下、図5乃至図7を参照しながら、ビデオカメラ200で撮影された人物の対応関係を推定する方法を説明する。図5乃至図7は、ビデオカメラ200で撮像された人物間の対応関係の推定方法を説明するための図である。
図5において、図面左側は時刻tの人物、図面右側は時刻t+1の人物を表す。対応付けが完了すると、時刻tに検出された人物A乃至人物Cは、時刻t+1の状態を示す右側のいずれかの項目に1:1で対応付けられ、時刻t+1に検出された人物X及び人物Yは、時刻tの状態を示す左側のいずれかの項目に1:1で対応付けられる。
ここで、左側に「新規人物・誤検出」の項目が2つあるのは、人物X及び人物Yの双方が人物A乃至人物Cのいずれにも対応しない可能性があるからであり、右側に「未出現・エリア外」が3つあるのは、人物A乃至人物Cがいずれも人物X及び人物Yに対応しない可能性があるためである。
線上に記載された数値は、それぞれ対応付けられる場合のコストを表している。この数値が高い方が対応付けられる可能性が低く、数値が低い方が対応付けられる可能性が高い。図5の例で人物Aを例にとって説明すると、人物Aは人物Xと対応付けられる可能性が最も高く(コスト5)、続いて未出現である可能性が高く(コスト10)、人物Yと対応付けられる可能性が最も低い(コスト20)。
このようなコストは、検出済みの各人物(人物X及び人物Y)と人物Aとの特徴量の類似度や、時刻tから時刻t+1までの経過時間と、人物Aが検出された位置から人物Xが検出された撮影位置や人物Yが検出された撮影位置までに到達する平均時間との比較等に応じて、対応関係推定部140が算出する。例えば、人物Aと人物Xの特徴量の類似度が高ければ、人物Aと人物Xとが対応付けられる可能性は高くなる(コストは低くなる)。また、人物Aが検出された位置から人物Xが検出された位置まで到達する平均時間と経過時間との一致度が高ければ、人物Aと人物Xとが対応付けられる可能性は高くなる(コストは低くなる)。なお、カメラの撮影範囲間を移動する時間は、カメラ配置情報161などから取得もしくは算出可能である。
対応付けの組合せを求める行為は、割り当て問題と理解することができるので、例えばハンガリアン法等により、最適な対応関係を求めることができる。つまり、これらのコストの総和が低くなるような組合せを求めればよい。図5の例であれば、人物Aが「未出現・エリア外」であり、人物Bが人物Yに対応し、人物Cが人物Xに対応する場合が、コストの合計が17となって、全ての組み合わせ中で最小となる。そこで、対応関係推定部140は、当該対応関係を、もっとも可能性の高い対応関係であるものと推定することができる。
次に、ユーザが人物の対応付け操作を行った場合の、対応関係推定部140による推定方法を、図6を参照しながら説明する。図6の例は、ユーザが人物Aと人物Xとを対応付けた場合の、対応関係の推定方法を説明するための図である。
この場合、人物Aは必ず人物Xと対応付けられるので、人物Aと人物Xとが同一人物であるコストは0となっている。この前提のもと、ハンガリアン法により対応関係を求めると、コストの総和が低くなるのは、人物Aが人物Xと対応し、人物Bが人物Yと対応し、人物Cが「未出現・エリア外」となる組合せである。
つまり、ユーザが人物Aに係る対応付けを行っただけで、他の人物(図6の例では人物C)の対応関係にも影響が及んでいる(図5の場合とは結果が変わっている)。
図6は「同一人物である」旨の入力をユーザが行った場合であったが、「同一人物ではない」場合も考えられる。図7は、ユーザが「人物Cと人物Xとが同一人物ではない」場合の入力を行った場合の例である。
この場合、人物Cが人物Xと対応づくことはないので、人物Cと人物Xとが同一人物であるコストは無限大となっている(なお、無限大でなくとも、十分に大きいコストが設定されていれば良い)。この前提のもと、ハンガリアン法により対応関係を求めると、コストの総和が低くなるのは、人物Aが人物Xと対応し、人物Bが人物Yと対応し、人物Cが「未出現・エリア外」となる組合せである。
つまり、図6の例と同様に、ユーザが人物Cに係る同一人物ではない旨の対応付けを行っただけで、他の人物(図7の例では人物A)の対応関係にも影響が及んでいる(図5の場合とは結果が変わっている)。
このように、ユーザが「同一人物である」「同一人物ではない」旨の入力を行うようにし、更に、当該入力に基づき人物の対応関係を予測することで、監視対象人物全員を対象に、好適な対応関係の予測結果を得ることができる。
なお、上述の例ではコストを元に対応関係の推定を行ったが、これに限られるものではない。例えば、コストは、対応付けられるもっともらしさ(尤度)と情報量は同一なので、尤度を元に対応付けを予測しても良い。なお、コストと尤度は、コスト=−log尤度、の関係にある。
また、上述の例では、対応付けの組合せを一括して予測しているが、これにも限られない。例えば、人物A乃至人物Cのそれぞれについて、人物Xが対応づく確率、人物Yが対応づく確率、未出現もしくはエリア外である確率、を算出するようにしても良い。この手法はいくつか考えられるが、例えば、以下の数式のいずれかにより算出することが考えられる。
ここで、ある特定の対応関係の確からしさは、割り当て問題において割り当てがなされた全ての尤度の積として計算される。例えば、図5下部に示した対応関係に対する確からしさは、人物Aが「未出現・エリア外」である尤度と人物Bが人物Yである尤度と人物Cが人物Xである尤度の積として計算することができる。また、図6下部に示した対応関係に対する確からしさは、人物Aが人物Xである尤度と人物Bが人物Yである尤度と人物Cが「未出現・エリア外」である尤度の積として計算することができる。
上記数式を用いることで、人物Xが人物Aと対応する確率、人物Xが人物Bと対応する確率、人物Xが人物監視である確率、人物Xが新規人物・誤検出である確率を計算することができる。この確率に基づき、上位N個を、人物Xに対応付く可能性の高い人物として、ポップアップウィンドウ35上等でユーザに提示することが考えられる。人物Yについても同様である。
(1.2.6 人物移動経路の表示)
ユーザ操作に基づき、対応関係推定部140が推定した人物の対応関係に基づき、移動履歴生成部155は、監視対象人物の移動履歴を表示可能である。図8は、移動履歴生成部155が生成する移動履歴表示画面80の具体例を示す図である。なお、図8の移動履歴表示画面80は、例えば、図3に例示した監視用画面30において監視対象者表示領域33上で、ユーザから監視対象者の指定を受けると共に、当該監視対象者の移動履歴の表示をユーザから指示された場合に、移動履歴生成部155が生成する。ここでユーザからの指示は、入力装置400からの操作信号として情報処理サーバ100に入力される。
ユーザ操作に基づき、対応関係推定部140が推定した人物の対応関係に基づき、移動履歴生成部155は、監視対象人物の移動履歴を表示可能である。図8は、移動履歴生成部155が生成する移動履歴表示画面80の具体例を示す図である。なお、図8の移動履歴表示画面80は、例えば、図3に例示した監視用画面30において監視対象者表示領域33上で、ユーザから監視対象者の指定を受けると共に、当該監視対象者の移動履歴の表示をユーザから指示された場合に、移動履歴生成部155が生成する。ここでユーザからの指示は、入力装置400からの操作信号として情報処理サーバ100に入力される。
図8に示す移動履歴表示画面80は、移動履歴表示領域81と、監視対象人物選択領域83とを含む。監視対象人物選択領域83で監視対象人物を選択すると、当該監視対象人物の移動経路が、移動履歴表示領域81の地図上に表示される。
図8の例では、監視対象者の移動履歴が実線と破線とをつなぎあわせて表現されている。このうち、実線部分は、ビデオカメラ200がカメラ内追跡を行った結果を示しており、破線部分は、対応関係推定部140が推定した対応関係に基づいて決定される移動経路を示している。
(1.3 処理の流れ)
次に、情報処理サーバ100の処理の流れを、図9を参照しながら説明する。図9は、本実施形態に係る情報処理サーバ100の処理の流れを示すフローチャートである。
次に、情報処理サーバ100の処理の流れを、図9を参照しながら説明する。図9は、本実施形態に係る情報処理サーバ100の処理の流れを示すフローチャートである。
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。
まず、入力部110は、ビデオカメラ200から受信する情報に基づき、ビデオカメラ200で撮影された映像内に、検出対象オブジェクトとしての人物が映っているか否かを判別する(S901)。その結果、人物が検出されている場合には(S901のYes)、類似度算出部120は、人物追跡情報167を読込んで(S903)、既に他のビデオカメラ200で検出済みの人物の特徴量と、今回検出された人物の特徴量とを比較して類似度を算出する(S905)。
更に、対応関係推定部140は、S905で算出した類似度や、経過時間とカメラ間距離の関係等に応じて、対応付けに係るコスト(図5乃至図7を参照しながら上述)を算出する(S907)。さらに、当該コスト(尤度と情報量は同一)に基づき、人物間が対応づく確率を算出する。
UI生成部153は、S907で算出した確率に応じて、映像領域31で表示中の映像に映る人物に対応する可能性の高い順に監視対象者を並べたポップアップウィンドウ35を表示する(S909)。
当該ポップアップウィンドウ35を用いて、同一である旨、及び同一でない旨の入力がユーザにより行われた場合には(S911のYes)、対応関係推定部140は、当該入力に応じて、人物の対応付けに係るコストを再計算した上で(S913)、当該コストに基づき、全ての人物に係る対応関係を予測する(S915)。更に、対応関係推定部140は、当該予測した人物の対応関係を、人物追跡情報167としてDB160に登録する。
(1.4 ハードウェア構成)
以下、図10を参照しながら、上述してきた情報処理サーバ100をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、前述の通り、情報処理サーバ100の機能は、複数の情報処理装置により実現することも可能である。
以下、図10を参照しながら、上述してきた情報処理サーバ100をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、前述の通り、情報処理サーバ100の機能は、複数の情報処理装置により実現することも可能である。
図10に示すように、情報処理サーバ100は、プロセッサ1001、メモリ1003、記憶装置1005、入力インタフェース(I/F)1007、データI/F1009、通信I/F1011、及び表示装置1013を含む。
プロセッサ1001は、メモリ1003に記憶されているプログラムを実行することにより情報処理サーバ100における様々な処理を制御する。例えば、図1で説明した入力部110、類似度算出部120、追跡人物登録部130、対応関係推定部140、及び表示制御部150に係る処理は、メモリ1003に一時記憶された上で、主にプロセッサ1001上で動作するプログラムとして実現可能である。
メモリ1003は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ1003は、プロセッサ1001によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ1003の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
記憶装置1005は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置1005は、オペレーティングシステムや、入力部110、類似度算出部120、追跡人物登録部130、対応関係推定部140、及び表示制御部150を実現するための各種プログラムや、DB160として格納されるカメラ配置情報161、撮影動画像163、検出人物情報165、及び人物追跡情報167を含む各種データなどを記憶する。記憶装置1005に記憶されているプログラムやデータは、必要に応じてメモリ1003にロードされることにより、プロセッサ1001から参照される。
入力I/F1007は、ユーザからの入力を受け付けるためのデバイスである。図1で説明した入力装置400は、入力I/F1007により実現することも可能である。入力I/F1007の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力I/F1007は、例えばUSB(Universal Serial Bus)等のインタフェースを介して情報処理サーバ100に接続されても良い。
データI/F1009は、情報処理サーバ100の外部からデータを入力するためのデバイスである。データI/F1009の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データI/F1009は、情報処理サーバ100の外部に設けられることも考えられる。その場合、データI/F1009は、例えばUSB等のインタフェースを介して情報処理サーバ100へと接続される。
通信I/F1011は、情報処理サーバ100の外部の装置、例えばビデオカメラ200等との間で有線又は無線によりデータ通信するためのデバイスである。通信I/F1011は情報処理サーバ100の外部に設けられることも考えられる。その場合、通信I/F1011は、例えばUSB等のインタフェースを介して情報処理サーバ100に接続される。
表示装置1013は、各種情報を表示するためのデバイスである。図1で説明した表示装置300は、表示装置1013により実現することも可能である。表示装置1013の具体例としては、例えば、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置1013は、情報処理サーバ100の外部に設けられても良い。その場合、表示装置1013は、例えばディスプレイケーブル等を介して情報処理サーバ100に接続される。
(1.5 本実施形態に係る効果)
以上説明したように、本実施形態に係る監視システム1では、ユーザから同一人物である旨、及び同一人物ではない旨の入力を受けることを可能とすることにより、その入力に応じて、好適な人物の対応関係を推定できる。特に、1人にかかる入力を行っただけであっても、他の人物の対応関係の予測にも影響を与えることができる。
以上説明したように、本実施形態に係る監視システム1では、ユーザから同一人物である旨、及び同一人物ではない旨の入力を受けることを可能とすることにより、その入力に応じて、好適な人物の対応関係を推定できる。特に、1人にかかる入力を行っただけであっても、他の人物の対応関係の予測にも影響を与えることができる。
同一人物である旨をユーザが判定することが難しい場合であっても、同一人物ではない旨の判定は高い精度で行うことができる場合も多い。よって、このような高い精度のユーザ入力を重ねることを可能とし、この入力に応じて人物の対応関係を予測することで、その予測精度を高めることが可能となる。
(2 第2実施形態)
以下、第2実施形態を、図11を参照しながら説明する。図11は、情報処理システムである監視装置1100の機能構成を示すブロック図である。図11に示すように、監視装置1100は、入力部1110と、第1の演算部1120と、第2の演算部1130とを含む。
以下、第2実施形態を、図11を参照しながら説明する。図11は、情報処理システムである監視装置1100の機能構成を示すブロック図である。図11に示すように、監視装置1100は、入力部1110と、第1の演算部1120と、第2の演算部1130とを含む。
入力部1110は、図示しないビデオカメラで第1の時刻に撮影された1以上の人物の少なくとも一部と、第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること、又は対応しないことに係る対応情報の入力を受けることができる。ここで、第2の時刻は第1の時刻よりも遅いものとする。
第1の演算部1120は、第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める。
また、第1の演算部1120は、少なくとも一部の尺度を、入力部1110から入力された対応情報に基づいて定める。
また、第1の演算部1120は、少なくとも一部の尺度を、入力部1110から入力された対応情報に基づいて定める。
第2の演算部1130は、第1の時刻又は第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、第1の時刻に映る人物と第2の時刻に映る人物との対応関係を推定する。
このように実装することで、本実施形態に係る監視装置1100によれば、映像に映る人物の対応付けを好適に推定することができる。
このように実装することで、本実施形態に係る監視装置1100によれば、映像に映る人物の対応付けを好適に推定することができる。
(3 付記事項)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
(付記1)
第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める第1の演算手段と、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する第2の演算手段と、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける入力手段とを備え、前記第1の演算手段は、前記入力部から入力された前記対応情報に基づき、少なくとも一部の尺度を定める、情報処理システム。
第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める第1の演算手段と、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する第2の演算手段と、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける入力手段とを備え、前記第1の演算手段は、前記入力部から入力された前記対応情報に基づき、少なくとも一部の尺度を定める、情報処理システム。
(付記2)
前記第1の演算手段は、前記第1の時刻に係る人物と前記第2の時刻に係る人物との特徴量の類似度に基づいて、少なくとも一部の尺度を算出する、付記1記載の情報処理システム。
前記第1の演算手段は、前記第1の時刻に係る人物と前記第2の時刻に係る人物との特徴量の類似度に基づいて、少なくとも一部の尺度を算出する、付記1記載の情報処理システム。
(付記3)
前記第1の演算手段は、前記第1の時刻から前記第2の時刻までの経過時間と、各人物が映るカメラ間の関係に係る情報とに基づき、少なくとも一部の尺度を算出する、付記1又は付記2記載の情報処理システム。
前記第1の演算手段は、前記第1の時刻から前記第2の時刻までの経過時間と、各人物が映るカメラ間の関係に係る情報とに基づき、少なくとも一部の尺度を算出する、付記1又は付記2記載の情報処理システム。
(付記4)
前記カメラ間の関係に係る情報は、カメラの撮影範囲間の移動に要する平均時間、又はカメラの撮影範囲間の距離の少なくとも一方の情報を含む、付記3記載の情報処理システム。
前記カメラ間の関係に係る情報は、カメラの撮影範囲間の移動に要する平均時間、又はカメラの撮影範囲間の距離の少なくとも一方の情報を含む、付記3記載の情報処理システム。
(付記5)
前記第2の演算手段は、前記第1の時刻に係る全ての人物と、前記第2の時刻に係る全ての人物とに係る全ての尺度を考慮して、対応関係を推定する、付記1乃至付記4のいずれか1項記載の情報処理システム。
前記第2の演算手段は、前記第1の時刻に係る全ての人物と、前記第2の時刻に係る全ての人物とに係る全ての尺度を考慮して、対応関係を推定する、付記1乃至付記4のいずれか1項記載の情報処理システム。
(付記6)
第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定めるステップと、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定するステップと、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受けるステップとを情報処理システムが行ない、前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める、情報処理方法。
第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定めるステップと、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定するステップと、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受けるステップとを情報処理システムが行ない、前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める、情報処理方法。
(付記7)
前記第1の時刻に係る人物と前記第2の時刻に係る人物との特徴量の類似度に基づいて、少なくとも一部の尺度を算出する、付記6記載の情報処理方法。
前記第1の時刻に係る人物と前記第2の時刻に係る人物との特徴量の類似度に基づいて、少なくとも一部の尺度を算出する、付記6記載の情報処理方法。
(付記8)
前記第1の時刻から前記第2の時刻までの経過時間と、各人物が映るカメラ間の関係に係る情報とに基づき、少なくとも一部の尺度を算出する、付記6又は付記7記載の情報処理方法。
前記第1の時刻から前記第2の時刻までの経過時間と、各人物が映るカメラ間の関係に係る情報とに基づき、少なくとも一部の尺度を算出する、付記6又は付記7記載の情報処理方法。
(付記9)
前記カメラ間の関係に係る情報は、カメラの撮影範囲間の移動に要する平均時間、又はカメラの撮影範囲間の距離の少なくとも一方の情報を含む、付記8記載の情報処理方法。
前記カメラ間の関係に係る情報は、カメラの撮影範囲間の移動に要する平均時間、又はカメラの撮影範囲間の距離の少なくとも一方の情報を含む、付記8記載の情報処理方法。
(付記10)
前記第1の時刻に係る全ての人物と、前記第2の時刻に係る全ての人物とに係る全ての尺度を考慮して、対応関係を推定する、付記6乃至付記9のいずれか1項記載の情報処理方法。
前記第1の時刻に係る全ての人物と、前記第2の時刻に係る全ての人物とに係る全ての尺度を考慮して、対応関係を推定する、付記6乃至付記9のいずれか1項記載の情報処理方法。
(付記11)
第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める処理と、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する処理と、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける処理とをコンピュータに実行させ、前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める、プログラム。
第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める処理と、前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する処理と、前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける処理とをコンピュータに実行させ、前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める、プログラム。
(付記12)
前記第1の時刻に係る人物と前記第2の時刻に係る人物との特徴量の類似度に基づいて、少なくとも一部の尺度を算出する、付記11記載のプログラム。
前記第1の時刻に係る人物と前記第2の時刻に係る人物との特徴量の類似度に基づいて、少なくとも一部の尺度を算出する、付記11記載のプログラム。
(付記13)
前記第1の時刻から前記第2の時刻までの経過時間と、各人物が映るカメラ間の関係に係る情報とに基づき、少なくとも一部の尺度を算出する、付記11又は付記12記載のプログラム。
前記第1の時刻から前記第2の時刻までの経過時間と、各人物が映るカメラ間の関係に係る情報とに基づき、少なくとも一部の尺度を算出する、付記11又は付記12記載のプログラム。
(付記14)
前記カメラ間の関係に係る情報は、カメラの撮影範囲間の移動に要する平均時間、又はカメラの撮影範囲間の距離の少なくとも一方の情報を含む、付記13記載のプログラム。
前記カメラ間の関係に係る情報は、カメラの撮影範囲間の移動に要する平均時間、又はカメラの撮影範囲間の距離の少なくとも一方の情報を含む、付記13記載のプログラム。
(付記15)
前記第1の時刻に係る全ての人物と、前記第2の時刻に係る全ての人物とに係る全ての尺度を考慮して、対応関係を推定する、付記11乃至付記14のいずれか1項記載のプログラム。
前記第1の時刻に係る全ての人物と、前記第2の時刻に係る全ての人物とに係る全ての尺度を考慮して、対応関係を推定する、付記11乃至付記14のいずれか1項記載のプログラム。
この出願は、2012年9月27日に出願された日本出願特願2012−214397を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1・・・監視システム、30・・・監視用画面、31・・・映像領域、33・・・監視対象者表示領域、35・・・ポップアップウィンドウ、41・・・人物画像、43・・・空白画像、45・・・登録ボタン、80・・・移動履歴表示画面、81・・・移動履歴表示領域、83・・・監視対象人物選択領域、100・・・情報処理サーバ、110・・・入力部、120・・・類似度算出部、130・・・追跡人物登録部、140・・・対応関係推定部、150・・・表示制御部、151・・・動画表示部、153・・・UI生成部、155・・・移動履歴生成部、160・・・データベース(DB)、161・・・カメラ配置情報、163・・・撮影動画像、165・・・検出人物情報、167・・・人物追跡情報、200・・・ビデオカメラ、300・・・表示装置、400・・・入力装置、1001・・・プロセッサ、1003・・・メモリ、1005・・・記憶装置、1007・・・入力インタフェース(I/F)、1009・・・データインタフェース、1011・・・通信インタフェース、1013・・・表示装置、1100・・・監視装置、1110・・・入力部、1120・・・第1の演算部、1130・・・第2の演算部
Claims (7)
- 第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める第1の演算手段と、
前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する第2の演算手段と、
前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける入力手段と
を備え、
前記第1の演算手段は、前記入力部から入力された前記対応情報に基づき、少なくとも一部の尺度を定める、
情報処理システム。 - 前記第1の演算手段は、前記第1の時刻に係る人物と前記第2の時刻に係る人物との特徴量の類似度に基づいて、少なくとも一部の尺度を算出する、
請求項1記載の情報処理システム。 - 前記第1の演算手段は、前記第1の時刻から前記第2の時刻までの経過時間と、各人物が映るカメラ間の関係に係る情報とに基づき、少なくとも一部の尺度を算出する、
請求項1又は請求項2記載の情報処理システム。 - 前記カメラ間の関係に係る情報は、カメラの撮影範囲間の移動に要する平均時間、又はカメラの撮影範囲間の距離の少なくとも一方の情報を含む、
請求項3記載の情報処理システム。 - 前記第2の演算手段は、前記第1の時刻に係る全ての人物と、前記第2の時刻に係る全ての人物とに係る全ての尺度を考慮して、対応関係を推定する、
請求項1乃至請求項4のいずれか1項記載の情報処理システム。 - 第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定めるステップと、
前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定するステップと、
前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受けるステップと
を情報処理システムが行ない、
前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める、
情報処理方法。 - 第1の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物と、第1の時刻よりも遅い第2の時刻に前記複数のビデオカメラでそれぞれ撮影された映像に映る1以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める処理と、
前記第1の時刻又は前記第2の時刻の一方の時刻に映る少なくとも1名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、前記第1の時刻に映る人物と前記第2の時刻に映る人物との対応関係を推定する処理と、
前記第1の時刻に撮影された1以上の人物の少なくとも一部と、前記第2の時刻に撮影された1以上の人物の少なくとも一部とが対応すること又は対応しないことに係る対応情報の入力を受ける処理と
をコンピュータに実行させ、
前記尺度の少なくとも一部は、入力された前記対応情報に基づいて定める、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214397 | 2012-09-27 | ||
JP2012214397 | 2012-09-27 | ||
PCT/JP2013/073354 WO2014050432A1 (ja) | 2012-09-27 | 2013-08-30 | 情報処理システム、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2014050432A1 true JPWO2014050432A1 (ja) | 2016-08-22 |
Family
ID=50387841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014538306A Pending JPWO2014050432A1 (ja) | 2012-09-27 | 2013-08-30 | 情報処理システム、情報処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9589192B2 (ja) |
JP (1) | JPWO2014050432A1 (ja) |
WO (1) | WO2014050432A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5919665B2 (ja) * | 2011-07-19 | 2016-05-18 | 日本電気株式会社 | 情報処理装置、物体追跡方法および情報処理プログラム |
US9633253B2 (en) * | 2012-10-29 | 2017-04-25 | Nec Corporation | Moving body appearance prediction information processing system, and method |
JP6273685B2 (ja) | 2013-03-27 | 2018-02-07 | パナソニックIpマネジメント株式会社 | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 |
JP6270433B2 (ja) * | 2013-11-26 | 2018-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム |
JP6573361B2 (ja) * | 2015-03-16 | 2019-09-11 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム |
EP3435665A4 (en) * | 2016-03-25 | 2019-03-20 | Panasonic Intellectual Property Management Co., Ltd. | MONITORING AND MONITORING SYSTEM |
JP6742195B2 (ja) * | 2016-08-23 | 2020-08-19 | キヤノン株式会社 | 情報処理装置及びその方法、コンピュータプログラム |
JP7229698B2 (ja) * | 2018-08-20 | 2023-02-28 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
SG10201807663PA (en) * | 2018-09-06 | 2020-04-29 | Nec Asia Pacific Pte Ltd | System and method for multi-layer potential associates discovery |
JP2022122498A (ja) * | 2021-02-10 | 2022-08-23 | 富士通株式会社 | 移動履歴変更方法及び移動履歴変更プログラム |
JP7270855B2 (ja) * | 2021-03-05 | 2023-05-10 | 三菱電機株式会社 | 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7450735B1 (en) * | 2003-10-16 | 2008-11-11 | University Of Central Florida Research Foundation, Inc. | Tracking across multiple cameras with disjoint views |
WO2007026744A1 (ja) | 2005-08-30 | 2007-03-08 | National University Corporation NARA Institute of Science and Technology | 広域分散カメラ間の連結関係推定法および連結関係推定プログラム |
JP4881766B2 (ja) * | 2007-03-06 | 2012-02-22 | パナソニック株式会社 | カメラ間連結関係情報生成装置 |
JP2009098774A (ja) | 2007-10-15 | 2009-05-07 | Mitsubishi Electric Corp | 人物追跡システム及び人物追跡方法及び人物追跡プログラム |
AU2009243528B2 (en) * | 2009-12-04 | 2013-08-01 | Canon Kabushiki Kaisha | Location-based signature selection for multi-camera object tracking |
GB201113633D0 (en) * | 2011-08-08 | 2011-09-21 | Vision Semantics Ltd | User-primed iterative discovery of object associations in distributed multi-source data |
-
2013
- 2013-08-30 WO PCT/JP2013/073354 patent/WO2014050432A1/ja active Application Filing
- 2013-08-30 US US14/431,360 patent/US9589192B2/en active Active
- 2013-08-30 JP JP2014538306A patent/JPWO2014050432A1/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US9589192B2 (en) | 2017-03-07 |
WO2014050432A1 (ja) | 2014-04-03 |
US20150262019A1 (en) | 2015-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6210234B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
WO2014050432A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US11343575B2 (en) | Image processing system, image processing method, and program | |
JP6213843B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP6347211B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US11908293B2 (en) | Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not using histogram | |
US11082634B2 (en) | Image processing system, image processing method, and program | |
WO2014045670A1 (ja) | 画像処理システム、画像処理方法及びプログラム |