JP2020078030A - システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】オブジェクトの追尾精度の向上を支援することを目的とする。【解決手段】指定オブジェクトの追尾指示を受け付けた場合、前記指定オブジェクトの特徴情報に基づいて、前記追尾指示を受け付けた時点よりも過去に複数の撮影部により撮影された過去映像から、前記指定オブジェクトを検索する検索手段と、前記検索手段の検索において検索された前記指定オブジェクトから抽出される追加の特徴情報に基づいて、前記時点よりも後に前記撮影部により撮影された追尾用映像において、前記指定オブジェクトを追尾する追尾手段と、を有する。【選択図】図６

Description

本発明は、システム、情報処理装置、情報処理方法及びプログラムに関する。

近年、数百台を超えるネットワークカメラを用いた大規模な映像監視システムが登場している。このような監視システムにおいて、複数のネットワークカメラで撮影した特定のオブジェクト（例えば、人物、車両等）を追尾することが要求されている。特定のオブジェクトを追尾するために、オブジェクトの特徴情報（例えば、顔映像等）を用いて、複数のネットワークカメラで撮影したオブジェクトが同一人物か否かを判別する。その際、複数種類の特徴情報を用いることで、人物同定の精度、ひいては人物追尾の精度を高めることができる。
特許文献１には、オブジェクトの追尾を開始した後で、追尾したオブジェクトの領域からそのオブジェクトの新たな特徴情報を抽出し、抽出した新たな特徴情報を後の追尾に利用することが開示されている。

特開２０１２−４８２７８号公報

オブジェクトの追尾を開始した後で、追尾したオブジェクトの領域からオブジェクトの追尾に用いられる特徴情報を追加する場合、追尾用の特徴情報が不足し、オブジェクトを検出できない場合がある。例えば、追尾対象のオブジェクトの特徴情報が十分に用意できていない段階では、追尾対象のオブジェクトを検出できずに追尾ができない事態が生じうる。そのため、追尾対象のオブジェクトを見失う可能性が増大する。
本発明は、オブジェクトの追尾精度の向上を支援することを目的とする。

本発明のシステムは、指定オブジェクトの追尾指示を受け付けた場合、前記指定オブジェクトの特徴情報に基づいて、前記追尾指示を受け付けた時点よりも過去に複数の撮影部により撮影された過去映像から、前記指定オブジェクトを検索する検索手段と、前記検索手段の検索において検索された前記指定オブジェクトから抽出される追加の特徴情報に基づいて、前記時点よりも後に前記撮影部により撮影された追尾用映像において、前記指定オブジェクトを追尾する追尾手段と、を有する。

本発明によれば、オブジェクトの追尾精度の向上を支援することができる。

監視システムのシステム構成の一例を示す図である。 解析サーバ装置のハードウェア構成の一例を示す図である。 解析サーバ装置の機能構成の一例を示す図である。 監視システムの処理の一例の概要を説明する図である。 解析サーバ装置の一例を示すフローチャートである。 解析サーバ装置の一例を示すフローチャートである。 解析サーバ装置の一例を示すフローチャートである。 解析サーバ装置の機能構成の一例を示す図である。 解析サーバ装置の処理の一例を示すフローチャートである。

以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本実施形態の監視システムのシステム構成の一例を示す図である。監視システムは、複数のネットワークカメラを用いて、これらのネットワークカメラが配置された領域を監視し、指定されたオブジェクトを追尾するシステムである。本実施形態では、監視システムが追尾する対象のオブジェクトは、人物であるとする。ただし、監視システムは、人物の代わりに、車両や動物等の人物以外のオブジェクトを追尾することとしてもよい。監視システムは、複数のネットワークカメラ１０２、解析サーバ装置１０３、クライアントパーソナルコンピュータ（ＰＣ）１０４を含む。また、各要素は、ネットワーク１０１を介して、相互に通信可能に接続されている。
ネットワークカメラ１０２は、ネットワーク経由で映像を送信可能なネットワークカメラである。ネットワークカメラ１０２は、撮影部の一例である。ネットワークカメラ１０２は、ネットワーク１０１を介して、解析サーバ装置１０３に、撮影した映像を送信する。本実施形態では、ネットワークカメラ１０２は、周期的に連続して撮影した複数の静止映像を、周期的に解析サーバ装置１０３に送信する。ただし、ネットワークカメラ１０２は、周期的に連続して撮影した複数の静止映像から動映像を生成し、生成した動映像を、静止映像の代わりに、解析サーバ装置１０３に送信してもよい。以下では、映像とは、静止映像を指すこととする。

解析サーバ装置１０３は、ネットワークカメラ１０２から送信された映像を受信して保存し、受信した映像を解析する情報処理装置である。解析サーバ装置１０３は、例えば、ＰＣ、サーバ装置、タブレット装置等である。また、解析サーバ装置１０３は、映像の解析結果を、追尾結果としてクライアントＰＣ１０４に送信する。本実施の形態では、指定されたオブジェクトの追尾結果として、オブジェクトの撮影画像を撮影したカメラ情報（カメラ名、およびカメラの設置位置）とともに送信する。
クライアントＰＣ１０４は、ユーザからの要求を受け付けて、解析サーバ装置１０３から映像の解析結果を取得する情報処理装置である。クライアントＰＣ１０４は、例えば、ＰＣ、タブレット装置等である。また、クライアントＰＣ１０４は、ユーザからの要求を受け付けて、その要求に基づき、解析サーバ装置１０３に対して、映像の解析指示を行う。

図２は、解析サーバ装置１０３のハードウェア構成の一例を示す図である。
解析サーバ装置１０３は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２０１、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０２、ネットワークＩ／Ｆ２０３、ストレージ装置２０４を含む。また、解析サーバ装置１０３は、ディスプレイ２０５、キーボード２０６、マウス２０７、を含む。各要素は、バス２０８を介して、相互に通信可能に接続されている。
ＣＰＵ２０１は、ＲＡＭ２０２に格納されている制御プログラムに従って解析サーバ装置１０３全体の制御を行う中央演算装置である。ＲＡＭ２０２は、ＣＰＵ２０１が実行するプログラムや、文書や映像等のデータが展開される主記憶装置であり、揮発性のメモリである。ネットワークＩ／Ｆ２０３は、ネットワークを介した外部の装置との接続に用いられるインターフェースである。ＣＰＵ２０１は、ネットワークＩ／Ｆ２０３を介して、外部の装置との間でデータ等の送受信を行う。
ストレージ装置２０４は、ネットワークカメラ１０２により撮影された映像等の処理対象のデータ、ＲＡＭ２０２に展開するための各種プログラム、各種設定情報等を記憶する磁気ディスクやフラッシュメモリ等の記憶装置であり、不揮発性のメモリである。ディスプレイ２０５は、映像の解析結果等の情報を表示する表示装置である。キーボード２０６は、ユーザからの情報の入力を受付けるためのキーボードである。マウス２０７は、ユーザからの情報の入力を受付けるためのポインティングデバイスである。キーボード２０６とマウス２０７とそれぞれは、解析サーバ装置１０３の入力部の一例である。

ＣＰＵ２０１は、ユーザによりキーボード２０６やマウス２０７を介して入力された情報に応じた情報をディスプレイ２０５に表示する。
ＣＰＵ２０１は、ストレージ装置２０４からＲＡＭ２０２に展開されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムを実行し、ＯＳの機能の一部を必要に応じて呼び出して使用する。また、ＣＰＵ２０１は、ＲＡＭ２０２に展開されているコンピュータプログラムに基づいて、ＲＡＭ２０２に一時記憶するデータの内容の読み書きを行なったり、ストレージ装置２０４に対するデータの読み書きを行なったりする。また、ＣＰＵ２０１は、ＲＡＭ２０２に展開されているコンピュータプログラムに基づいて、ネットワークＩ／Ｆ２０３を介して他の装置との間でのデータの送受信を行なう。また、ＣＰＵ２０１は、ＲＡＭ２０２に展開されているプログラムに基づいて、キーボード２０６やマウス２０７を介した情報の入力を受け付けたり、ディスプレイ２０５に情報を出力することで表示を行なったりする。

ＣＰＵ２０１が、ストレージ装置２０４に記憶されたプログラムにしたがって処理を実行することで、図３、８で後述する解析サーバ装置１０３の機能、図５〜７、９で後述するフローチャートの処理等が実現される。
本実施形態では、クライアントＰＣ１０４のハードウェア構成は、図２で説明した解析サーバ装置１０３のハードウェア構成と同様であるとする。クライアントＰＣ１０４のＣＰＵが、クライアントＰＣ１０４のストレージ装置に記憶されたプログラムにしたがって処理を実行することで、クライアントＰＣ１０４の機能、クライアントＰＣ１０４の処理が実現される。ただし、クライアントＰＣ１０４は、解析サーバ装置１０３と同様のハードウェア構成でなくてもよい。例えば、クライアントＰＣ１０４は、ディスプレイ２０５とキーボード２０６とマウス２０７との代わりに、タッチパネルを有することとしてもよい。

図３は、解析サーバ装置１０３の機能構成の一例を示す図である。
解析サーバ装置１０３は、映像受信部３０１、映像管理部３０２、指示受信部３０３、追尾対象取得部３０４、特徴管理部３０５、処理管理部３０６、追尾部３０７及び検索部３０８を含む。また、追尾部３０７は、現在映像取得部３０９、特徴取得部３１０、検出部３１１、抽出部３１２、照合部３１３及び追加部３１４を含む。また、検索部３０８は、過去映像取得部３１５、特徴取得部３１６、検出部３１７、抽出部３１８、照合部３１９及び追加部３２０を含む。
映像受信部３０１は、ネットワークカメラ１０２から送信される映像を受信する。映像管理部３０２は、映像受信部３０１により受信された映像をストレージ装置２０４に記憶し、管理する。また、映像管理部３０２は、要求に応じて管理している映像を要求元に送信する。指示受信部３０３は、ユーザからのオブジェクトの追尾の開始指示を受信する。

追尾対象取得部３０４は、追尾対象の人物の特徴量を取得し、取得した特徴量の管理を特徴管理部３０５に依頼する。オブジェクトの特徴量とは、オブジェクトの何等かの特徴を示す情報であり、映像から得られる情報である。オブジェクトの特徴量は、オブジェクトの特徴を示す特徴情報の一例である。人物の特徴量としては、例えば、顔の各器官の位置や大きさや、人物の体格や上半身、下半身の服の色等がある。以下では、人物の特徴量のうち、顔の各器官の位置や大きさを、顔特徴量とする。また、以下では、人物の特徴量のうち、体格や上半身、下半身の服の色を、人体特徴量とする。
本実施形態では、追尾対象取得部３０４は、ユーザによる入力装置の操作を介して、ネットワークカメラ１０２により撮影された映像内に追尾対象の人物の領域の指定を受付ける。以下では、追尾対象の人物を、追尾対象人物とする。追尾対象人物は、追尾対象として指定された指定オブジェクトの一例である。そして、追尾対象取得部３０４は、指定された領域から追尾対象人物の特徴量を抽出することで、追尾対象人物の特徴量を取得する。
特徴管理部３０５は、人物毎の特徴量を記憶装置としてのストレージ装置２０４に格納し、人物毎に特徴量を管理する。また、特徴管理部３０５は、要求に応じて、要求された特徴量を要求元に送信する。処理管理部３０６は、追尾部３０７及び検索部３０８における処理の開始、終了を管理する。処理管理部３０６は、指示受信部３０３により追尾の開始指示が受信された場合、追尾部３０７及び検索部３０８に処理の開始を指示する。また、処理管理部３０６は、追尾部３０７及び検索部３０８の処理を終了するか否かを判断し、追尾部３０７及び検索部３０８に処理の終了を指示する。

追尾部３０７は、追尾対象人物の追尾を行う。追尾部３０７は、ネットワークカメラ１０２により撮影された最新の映像から追尾対象人物を検出した場合、検出した追尾対象人物の領域から追尾対象人物の特徴量を抽出し、抽出した特徴量の管理を特徴管理部３０５に依頼する。本実施形態では、監視システムに含まれる複数のネットワークカメラ１０２それぞれは、予め定められた間隔で周期的に映像を撮影（例えば、１秒間に１５回撮影）し、映像を撮影する度に、撮影した映像を解析サーバ装置１０３に送信する。そのため、解析サーバ装置１０３は、複数のネットワークカメラ１０２それぞれから、周期的に映像を受信し続ける。解析サーバ装置１０３がネットワークカメラ１０２から受信した映像のうち最新の映像は、疑似的に処理時点（現在）の環境が撮影された映像とみなすことができる。以下では、解析サーバ装置１０３が単一のネットワークカメラ１０２から受信した映像のうち最新の映像を、現在映像とする。また、以下では、解析サーバ装置１０３が単一のネットワークカメラ１０２から受信した映像のうち最新の映像以外の映像を、過去映像とする。
検索部３０８は、追尾対象人物を過去映像から検索する。検索部３０８は、過去映像から追尾対象人物を検出した場合、検出した追尾対象人物の領域から追尾対象人物の特徴量を抽出し、抽出した特徴量の管理を特徴管理部３０５に依頼する。

現在映像取得部３０９は、映像管理部３０２に対して、現在映像を要求することで、現在映像を取得する。特徴取得部３１０は、特徴管理部３０５に対して、追尾対象人物の特徴量を要求することで、追尾対象人物の特徴量を取得する。検出部３１１は、現在映像取得部３０９により取得された現在映像から追尾対象人物を検出する。抽出部３１２は、現在映像における検出部３１１により検出された追尾対象人物の領域から、追尾対象人物の特徴量を抽出する。照合部３１３は、特徴取得部３１０により取得された特徴量と、抽出部３１２により抽出された特徴量と、を照合する。追加部３１４は、抽出部３１２により抽出された追尾対象人物の特徴量の管理を、特徴管理部３０５に依頼する。
過去映像取得部３１５は、映像管理部３０２に対して、過去映像を要求することで、過去映像を取得する。特徴取得部３１６は、特徴管理部３０５に対して、追尾対象人物の特徴量を要求することで、追尾対象人物の特徴量を取得する。検出部３１７は、過去映像取得部３１５により取得された過去映像から追尾対象人物を検出する。抽出部３１８は、過去映像における検出部３１７により検出された追尾対象人物の領域から、追尾対象人物の特徴量を抽出する。照合部３１９は、特徴取得部３１６により取得された特徴量と、抽出部３１８により抽出された特徴量と、を照合する。追加部３２０は、抽出部３１８により抽出された追尾対象人物の特徴量の管理を、特徴管理部３０５に依頼する。

図４は、本実施形態の監視システムの処理の概要を説明する図である。
映像ストリーム４０１を構成する映像フレームのそれぞれは、各時刻において、何れか１つのネットワークカメラ１０２により撮影された映像ストリームである。オブジェクト情報４０２のそれぞれは、各時刻において、特徴管理部３０５により管理されている追尾対象人物のどの部分の特徴量であるかを示している。時間の流れは、Ｔ１、Ｔ２、Ｔ３、Ｔ４の順であるとする。即ち、時刻Ｔ１が、Ｔ１、Ｔ２、Ｔ３、Ｔ４のうちで、最も過去の時刻である。時刻Ｔ４が、Ｔ１、Ｔ２、Ｔ３、Ｔ４のうちで、最も後の時刻である。映像ストリーム４０１の時刻Ｔ１に対応する映像は、ネットワークカメラ１０２のうちのカメラ１により得られた映像であり、時刻Ｔ２、Ｔ３、Ｔ４に対応する映像は、ネットワークカメラ１０２のうちのカメラ２により得られた映像である。ここでは、カメラ１により得られた映像に写る人物４０３が時刻Ｔ２、Ｔ３、Ｔ４においてカメラ２により得られた映像にも写っているものとする。

図４に示すように、監視システムは、時刻Ｔ１にカメラ１により撮影された映像において、ユーザから人物４０３の追尾の指示を受け付ける。そして、監視システムは、人物４０３の特徴量４０４を取得し、特徴管理部３０５は、特徴量４０４を管理する。ここで、時刻Ｔ１にカメラ１により撮影された映像では、追尾対象人物の体が隠れているため、監視システムは、顔特徴量のみを特徴量４０４として抽出する。オブジェクト情報４０２に示すように、特徴管理部３０５は、時刻Ｔ１においては、追尾対象人物の特徴量として特徴量４０４を管理する。
その後、監視システムは、時刻Ｔ２にカメラ２により撮影された映像から検出した人物の顔領域４０５から特徴量を抽出する。そして、監視システムは、抽出した特徴量と、特徴管理部３０５により管理されている特徴量４０４と、を照合することで、顔領域４０５に対応する人物が追尾対象人物（人物４０３）であることを認識する。ここで、時刻Ｔ２にカメラ２により撮影された映像には、追尾対象人物の上半身の正面が映っているため、監視システムは、正面向きの上半身の人体特徴量（特徴量４０６）を抽出する。そして、オブジェクト情報４０２に示すように、特徴管理部３０５は、時刻Ｔ２においては、追尾対象人物の特徴量として、特徴量４０４、４０６を管理する。

その後、監視システムは、時刻Ｔ３にカメラ２により撮影された映像から検出した人物の体領域から人体特徴量を抽出する。そして、監視システムは、抽出した人体特徴量と、特徴管理部３０５により管理されている特徴量４０４，４０６と、を照合することで、この体領域に対応する人物が追尾対象人物である人物４０３であることを認識する。ここで、時刻Ｔ３にカメラ２により撮影された映像には、人物４０３の上半身の右側面が映っている。監視システムは、右側面向きの上半身の人体特徴量（特徴量４０７）を抽出する。そして、オブジェクト情報４０２に示すように、特徴管理部３０５は、時刻Ｔ３においては、特徴量４０４、４０６、４０７を管理する。
同様に、監視システムは、時刻Ｔ４にカメラ２により撮影された映像においても、追尾対象人物を検出し、追尾対象人物の映像から新たな人体特徴量が抽出されると、これを管理する。特徴量４０８が新たに抽出された場合には、図４に示すように、時刻Ｔ４においては、特徴管理部３０５は、特徴量４０４、４０６、４０７に加えて、更に特徴量４０８を管理する。

仮に、カメラ２が、時刻Ｔ２、Ｔ３に人物４０３を撮影せずに、時刻Ｔ４に人物４０３の背面向きの上半身の状態で撮影を開始したとする。この場合、時刻Ｔ４において、管理される追尾対象人物の特徴量は、顔特徴量である特徴量４０４のみである。しかしながら、時刻Ｔ４にカメラ２により撮影された映像には、人物４０３の顔は撮影されていない。すなわち、顔以外の部位の特徴量を保持していないため、この場合、時刻Ｔ４において人物４０３の追尾が失敗することとなる。
このような事態に対応して、本実施形態の監視システムの検索部３０８は、追尾指示の時点よりも過去に撮影された過去映像から、追尾対象人物の特徴量のうちの現在有していない部位の特徴量を取得し、追尾対象人物の追尾用の特徴量として追加する。これにより、監視システムは、追尾用の特徴量が不足して追尾ができない事態の発生を低減できることとなる。

図５は、解析サーバ装置１０３の処理の一例を示すフローチャートである。図５を用いて、解析サーバ装置１０３が実行する人物追尾処理について説明する。
Ｓ５０１において、指示受信部３０３は、ユーザによる入力部を介した操作に基づいて、追尾対象人物の追尾開始の指示を受付ける。より具体的には、指示受信部３０３は、ネットワークカメラ１０２により撮影された映像に対する人物の領域の指定を受付けることで、その領域に対応する人物を追尾対象人物とした追尾開始の指示を受付ける。以下では、追尾対象人物の追尾開始の指示を受付けた時点を、指示時点とする。
Ｓ５０２において、追尾対象取得部３０４は、追尾対象人物の特徴量を取得する。より具体的には、追尾対象取得部３０４は、Ｓ５０１で指定された領域から追尾対象人物の特徴量を抽出することで、追尾対象人物の特徴量を取得する。そして、追尾対象取得部３０４は、取得した特徴量の管理を特徴管理部３０５に依頼する。
Ｓ５０３において、処理管理部３０６は、追尾部３０７と検索部３０８とに対して、処理の開始を同時に指示する。これにより、処理管理部３０６は、追尾部３０７による現在撮影している映像からの追尾用の特徴量を追加する処理と、検索部３０８による過去に記録された映像からの追尾用の特徴量を追加する処理と、を並行して実行させるように制御する。

Ｓ５０４において、処理管理部３０６は、追尾部３０７の処理についての予め定められた追尾終了条件を満たすか否かを判定する。本実施形態では、追尾終了条件は、「追尾対象人物が最後にネットワークカメラ１０２に撮影されてから一定時間経過したこと」とする。処理管理部３０６は、追尾部３０７により現在映像から追尾対象人物が最後に検出されてからの経過時間をカウントし、カウントした時間が予め定められた閾値以上となった場合、追尾終了条件が満たされたと判定する。また、処理管理部３０６は、カウントした経過時間が、予め定められた閾値未満である場合、追尾終了条件が満たされていないと判定する。
処理管理部３０６は、追尾終了条件を満たすと判定した場合、追尾部３０７と検索部３０８とに処理の終了を指示する。検索部３０８にも指示の終了指示を行う理由は、追尾処理を行わない場合には過去映像から追尾対象人物の特徴量を取得する必要がないからである。

また、処理管理部３０６は、追尾終了条件を満たしていないと判定した場合、検索部３０８の処理についての予め定められた終了条件を満たすか否かを判定する。以下では、検索部３０８の処理についての予め定められた終了条件を、検索終了条件とする。本実施形態では、検索終了条件は、「追尾対象人物について予め定められた数以上の種類の特徴量を取得できたこと」である。処理管理部３０６は、特徴管理部３０５により管理されている追尾対象人物の特徴量の数が、予め定められた閾値以上である場合、検索終了条件が満たされたと判定する。また、処理管理部３０６は、特徴管理部３０５により管理されている追尾対象人物の特徴量の数が、予め定められた閾値未満である場合、検索終了条件が満たされていないと判定する。
処理管理部３０６は、検索終了条件が満たされていると判定した場合、検索部３０８に処理の終了を指示する。また、処理管理部３０６は、追尾部３０７に対して、追尾対象人物の特徴量の追加を停止するよう指示する。これにより、追加部３１４は、特徴管理部３０５への特徴量の管理の依頼を停止する。このようにすることで、不要な特徴量を更に追加する処理に係る負担を軽減できる。
処理管理部３０６は、以上の処理を、予め定められた間隔（例えば、３０秒間隔等）で繰り返す。
処理管理部３０６は、追尾終了条件が満たされ、追尾部３０７と検索部３０８とに処理の終了を指示した後で、処理をＳ５０５に進める。

Ｓ５０５において、処理管理部３０６は、追尾部３０７と検索部３０８との処理が終了するまで待機する。処理管理部３０６は、追尾部３０７と検索部３０８との処理が終了したら、図５の処理を終了する。

図６（ａ）は、解析サーバ装置１０３の追尾部３０７による追尾処理を示すフローチャートである。追尾部３０７は、Ｓ５０３における処理管理部３０６の指示に従い追尾処理を実行する。
Ｓ６０１において、現在映像取得部３０９が、映像管理部３０２に対して、複数のネットワークカメラ１０２それぞれに対応する現在映像（１フレーム分の映像）を要求することで、複数のネットワークカメラ１０２それぞれに対応する現在映像を取得する。Ｓ６０１で取得される現在映像は、指示時点よりも後に撮影された映像となる。Ｓ６０１で取得される現在映像は、オブジェクトの追尾に用いられる追尾用映像の一例である。
Ｓ６０２において、追尾部３０７は、Ｓ６０１で取得した現在映像に基づいて、追尾用の特徴量を追加する処理である特徴量追加処理を実行する。特徴量追加処理については、図７で後述する。
Ｓ６０３において、追尾部３０７は、処理管理部３０６から処理の終了指示を受付けたか否かを判定する。追尾部３０７は、処理の終了指示を受付けたと判定した場合、図６（ａ）の処理を終了し、処理の終了指示を受付けていないと判定した場合、処理をＳ６０１に進める。

図６（ｂ）は、解析サーバ装置１０３の検索部３０８による検索処理を示すフローチャートである。検索部３０８は、処理管理部３０６から処理の開始指示を受信した場合に検索処理を実行する。
Ｓ６０４において、過去映像取得部３１５は、映像管理部３０２に対して、複数のネットワークカメラ１０２それぞれに対応する１フレーム分の過去映像を要求することで、複数のネットワークカメラ１０２それぞれに対応する過去映像を取得する。過去映像取得部３１５は、過去映像として、指示時点よりも前に撮影された映像を取得する。本実施形態では、過去映像取得部３１５は、過去映像として取得したことがない過去の映像のうち、撮影時点が指示時点に最も近いものを、過去映像として取得する。
Ｓ６０５において、検索部３０８は、Ｓ６０４で取得した過去映像に基づいて、特徴量追加処理を実行する。
Ｓ６０６において、検索部３０８は、処理管理部３０６から処理の終了指示を受付けたか否かを判定する。検索部３０８は、処理の終了指示を受付けたと判定した場合、図６（ｂ）の処理を終了し、処理の終了指示を受付けていないと判定した場合、処理をＳ６０４に進める。
このように、本実施形態では、追尾部３０７と検索部３０８とは、処理管理部３０６の制御の下で、それぞれＳ６０２の処理と、Ｓ６０５の処理と、を同時に開始する。

図７は、Ｓ６０２において追尾部３０７が実行する特徴量追加処理を示すフローチャートである。
Ｓ７０１において、特徴取得部３１０は、特徴管理部３０５に対して追尾対象人物の特徴量を要求することで、追尾対象人物の特徴量を取得する。
Ｓ７０２において、検出部３１１は、Ｓ６０１で取得された現在映像から人物を検出する。
Ｓ７０３において、抽出部３１２は、Ｓ７０２で検出された全ての人物それぞれについて特徴量を抽出する。
Ｓ７０４において、照合部３１３は、Ｓ７０３で抽出された全ての特徴量それぞれと、Ｓ７０１で取得された追尾対象人物の特徴量と、を照合し、２つの特徴量の類似の度合を示す照合度を取得する。例えば、顔の特徴量を用いて照合処理を行う。

Ｓ７０５において、照合部３１３は、Ｓ７０４で取得した照合度に基づいて、現在映像中に追尾対象人物が存在するか否かを判定する。より具体的には、照合部３１３は、Ｓ７０４で取得した照合度において、予め定められた閾値以上のものが存在すれば、現在映像中に追尾対象人物が存在すると判定し、存在しなければ、現在映像中に追尾対象人物が存在しないと判定する。
照合部３１３は、現在映像中に追尾対象人物が存在すると判定した場合、現在映像中の追尾対象人物の領域を追尾結果として決定し、処理をＳ７０６に進める。その場合、追尾部３０７は、追尾結果の領域を、現在映像と重畳してディスプレイ２０５に表示する。照合部３１３は、現在映像中に追尾対象人物が存在しないと判定した場合、図７の処理を終了する。
Ｓ７０６において、追加部３１４は、Ｓ７０５で存在すると判定された追尾対象人物の領域のうち、照合に用いられていない部位に対応する領域から抽出された特徴量を、追尾対象人物の特徴量として特定する。そして、追加部３１４は、特徴管理部３０５を介して、新たに得られた特徴量を追尾対象人物の追尾に用いられる特徴量として、追尾対象の人物に対応付けてストレージ装置２０４に格納することで、特徴量を追加する。
このように、追尾部３０７は、Ｓ６０２の処理を図６（ａ）のループ処理で繰り返す際に、時間軸上未来方向のフレームを取得し、取得したフレームから追尾対象人物を検出することで、追尾対象人物を追尾する。

また、Ｓ６０５で検索部３０８が実行する特徴量追加処理は、図７で説明した処理と同様の手順の処理である。ただし、Ｓ６０５の処理においては、現在映像に替えて過去映像を特徴量抽出の対象とする。例えば、図４では、Ｔ１より前の時刻に撮影された映像から顔以外の部位の特徴量を抽出することになる。
このように、検索部３０８は、Ｓ６０５の処理を図６（ｂ）のループ処理で繰り返す際に、時間軸上過去方向のフレームを取得し、取得したフレームから追尾対象人物を検索する。

本実施形態では、追尾部３０７と検索部３０８とは、それぞれ、現在映像１フレーム分に対してのＳ６０２の処理と、過去映像１フレーム分に対してのＳ６０５の処理と、を並行して実行することとした。ただし、追尾部３０７と検索部３０８との２つの処理のタイミングは、実施形態に限定されるものではない。
例えば、追尾部３０７と検索部３０８とは、並行せずに独立に、それぞれ、Ｓ６０２の処理とＳ６０５の処理とを実行することとしてもよい。追尾部３０７は、新たな現在映像が取得されるまで、新たにＳ６０２の処理を実行することができない。しかし、過去映像は指示時点において複数フレーム分存在するため、検索部３０８は、新たな現在映像の取得を待つことなく、新たにＳ６０５の処理を実行できる。そのため、検索部３０８は、追尾部３０７と独立に処理を実行することで、より高速に、より多くの特徴量を抽出して、追加することができるようになる。
また、検索部３０８は、例えば、指示を受け付けた直後の第１のタイミングにおいてまず過去映像の検索を開始してもよい。そして、追尾部３０７は、第１のタイミングよりも後の第２のタイミングにおいて現在映像を用いた追尾を行ってもよい。ここで、第２のタイミングは予め設定されているものとする。第２のタイミングとしては、例えば、第１のタイミングから一定時間経過した後、ある程度の特徴量が蓄積されたタイミング等が挙げられる。

また、本実施形態では、追尾部３０７と検索部３０８とは、それぞれ、現在映像１フレーム分に対してのＳ６０２の処理と、過去映像１フレーム分に対してのＳ６０５の処理と、を並行して実行することとした。その場合、追尾部３０７と検索部３０８とは、現在映像１フレーム分に対してＳ６０２の処理を実行する場合、並行して、過去映像１フレーム分に対してＳ６０５の処理を実行することとしてもよい。

また、本実施形態では、検索部３０８は、過去映像として取得したことがない過去に撮影された映像のうち、撮影時点が指示時点に最も近いものを、過去映像として取得することとした。しかし、検索部３０８は、Ｓ６０４で複数フレーム分の過去映像を取得することとしてもよい。また、検索部３０８は、過去映像として取得したことがない過去に撮影された映像のうち、任意の時点に撮影された映像を、過去映像として取得することとしてもよい。
また、本実施形態では、Ｓ５０２で、追尾対象取得部３０４は、Ｓ５０１で指定された領域から追尾対象人物の特徴量を抽出することで、追尾対象人物の特徴量を取得することとした。ただし、追尾対象取得部３０４は、他の方法で、追尾対象人物の特徴量を取得することとしてもよい。例えば、追尾対象取得部３０４は、ユーザによる入力装置の操作を介して入力された追尾対象人物の特徴量を受付けることで、追尾対象人物の特徴量を取得してもよい。

以上、本実施形態の監視システムは、人物の追尾の指示を受付けた場合、過去映像から追尾対象人物を検索し、過去映像における検索した領域から抽出した追尾対象人物の特徴量を追尾対象人物の追尾に用いられる特徴量として追加する。
これにより、人物の追尾を開始した時点で特徴量を十分に用意できない場合でも、追尾を行いつつ、特徴量を追加するので、追尾用の特徴量が不足する事態の発生を低減できる。結果として、監視システムは、人物の追尾精度の向上を支援できる。

＜実施形態２＞
実施形態１では、オブジェクトの追尾と併せて、過去映像から追尾対象オブジェクトを検索して追尾対象オブジェクトの特徴量を、追尾に用いられる特徴量として追加する処理について説明した。しかしながら、過去映像から追尾対象オブジェクトの特徴量が追加される前の時点では、監視システムは、その現在映像から追尾対象オブジェクトを検出できず追尾できない可能性がある。これに対して、監視システムが、ネットワークカメラ１０２から映像を取得する度に、取得された映像について以下のような特徴量追加処理を行うことが考えられる。即ち、その映像からオブジェクトを検出し、検出した各オブジェクトの領域から抽出した特徴量を、各オブジェクトの追尾に利用可能な特徴量として追加する処理である。
これにより、追尾の開始の時点から、より多くの追尾対象オブジェクトの特徴量を用意することが可能となる。しかし、ネットワークカメラ１０２から映像を取得する度に特徴量追加処理を行うことは、処理に係る負担が過大となる。
そこで、本実施形態では、監視システムは、監視システムにかかる負荷が予め定められた水準を超えていない場合、ネットワークカメラ１０２から映像を取得する度に、その映像に対して、特徴量追加処理を行う。また、監視システムは、監視システムにかかる負荷が予め定められた水準以上である場合、実施形態１と同様の処理を行う。
本実施形態の監視システムのシステム構成は、実施形態１と同様である。また、本実施形態の解析サーバ装置１０３のハードウェア構成は、実施形態１と同様である。また、本実施形態では、監視システムの追尾対象となるオブジェクトは、実施形態１と同様に人物であるとする。

図８は、本実施形態の解析サーバ装置１０３の機能構成の一例を示す図である。本実施形態の解析サーバ装置１０３の機能構成は、負荷情報収集部８０１と判断部８０２とを有する点で、図３で説明した機能構成と異なる。
負荷情報収集部８０１は、監視システムにかかる負荷に関する情報である負荷情報を収集する。以下では、監視システムにかかる負荷を、システム負荷とする。負荷情報は、例えば、リソース使用率、追尾している人物の数、現在時刻等の情報である。
判断部８０２は、監視システムの負荷情報に基づいて、特徴量追加処理の実行のタイミングを判断する。

図９は、本実施形態の解析サーバ装置１０３の処理の一例を示すフローチャートである。
Ｓ９０１において、負荷情報収集部８０１は、監視システムの負荷情報を収集する。本実施形態では、負荷情報収集部８０１は、監視システムのリソースの使用率の情報を収集する。
Ｓ９０２において、判断部８０２は、Ｓ９０１で収集された負荷情報に基づいて、システム負荷が予め定められた水準以上か否かを判断する。判断部８０２は、Ｓ９０１で収集された負荷情報が示すリソースの使用率が予め定められた閾値以上である場合、システム負荷が予め定められた水準以上であると判断する。また、判断部８０２は、Ｓ９０１で収集された負荷情報が示すリソースの使用率が予め定められた閾値未満である場合、システム負荷が予め定められた水準を超えていないと判断する。
判断部８０２は、システム負荷が予め定められた水準以上であると判断した場合、処理をＳ９０３に進め、システム負荷が予め定められた水準を超えていないと判断した場合、処理をＳ９０４に進める。

Ｓ９０３において、判断部８０２は、特徴量追加処理を、追尾指示を受信した時点から実行すると判断する。この場合、監視システムは、実施形態１と同様の処理を行うことで、追尾対象人物について追尾用の特徴量を追加する特徴量追加処理を実行することとなる。
Ｓ９０４において、判断部８０２は、特徴量追加処理を、ネットワークカメラ１０２から映像を取得する度に実行すると判断する。この場合、追尾対象取得部３０４は、映像受信部３０１によりネットワークカメラ１０２から映像が受信される度に、受信された映像に基づいて、その映像から検出される各人物について追尾用の特徴量を追加する特徴量追加処理を実行する。より具体的には、追尾対象取得部３０４は、その映像からオブジェクトを検出し、その映像における検出した各オブジェクトの領域から各オブジェクトの特徴量を抽出する。そして、追尾対象取得部３０４は、抽出した各オブジェクトの特徴量を、各オブジェクトの追尾に用いられる特徴量として、管理を特徴管理部３０５に依頼する。特徴管理部３０５は、依頼に対応する特徴量を、その特徴量の抽出元のオブジェクトと対応付けて、ストレージ装置２０４に記憶し、管理する。
Ｓ９０５において、判断部８０２は、予め定められた期間（例えば、１０分、１時間等）、待機し、待機後に処理をＳ９０１に進める。即ち、解析サーバ装置１０３は、Ｓ９０１からＳ９０４の処理を一定時間ごとに繰り返すことになる。

以上、本実施形態の処理により、監視システムは、オブジェクトの追尾用の特徴量が不足し、オブジェクトの追尾ができない事態の発生をより低減できる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した監視システムの機能構成の一部又は全てをハードウェアとして解析サーバ装置１０３に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。

１０２ ネットワークカメラ
１０３ 解析サーバ装置
２０１ ＣＰＵ

Claims (8)

1. 指定オブジェクトの追尾指示を受け付けた場合、前記指定オブジェクトの特徴情報に基づいて、前記追尾指示を受け付けた時点よりも過去に複数の撮影部により撮影された過去映像から、前記指定オブジェクトを検索する検索手段と、
   前記検索手段の検索において検索された前記指定オブジェクトから抽出される追加の特徴情報に基づいて、前記時点よりも後に前記撮影部により撮影された映像において、前記指定オブジェクトを追尾する追尾手段と、
   を有するシステム。
2. 前記追尾手段は、現在、追尾されている前記指定オブジェクトから抽出された追加の特徴情報に基づいて、追尾を行う請求項１記載のシステム。
3. 前記過去映像からの追加の特徴情報の抽出と、現在、追尾されているオブジェクトから抽出される追加の特徴情報を並行して行うよう制御する第１の制御手段を更に有する請求項２記載のシステム。
4. 前記システムの負荷を示す負荷情報に基づいて、前記負荷が予め定められた水準以上であるか否かを判断する判断手段と、
   前記負荷が前記水準以上の場合において、前記追尾指示を受け付けた場合に、前記検索手段による検索を行うよう制御する第２の制御手段と、
   を更に有する請求項１乃至３何れか１項記載のシステム。
5. 前記負荷が前記水準を超えない場合、前記複数の撮影部により撮影された映像からオブジェクトを検出する検出手段と、
   前記検出手段により検出された各オブジェクトから抽出された特徴情報を抽出元のオブジェクトに対応付けて記憶手段に格納する格納手段と、
   を更に有する請求項４記載のシステム。
6. 指定オブジェクトの追尾指示を受け付けた場合、前記指定オブジェクトの特徴情報に基づいて、前記追尾指示を受付けた時点よりも過去に複数の撮影部により撮影された過去映像から、前記指定オブジェクトを検索する検索手段と、
   前記検索手段の検索において検索された前記指定オブジェクトから抽出される追加の特徴情報をに基づいて、前記時点よりも後に前記撮影部により撮影された映像において、前記指定オブジェクトを追尾する追尾手段と、
   を有する情報処理装置。
7. システムが実行する情報処理方法であって、
   指定オブジェクトの追尾指示を受け付けた場合、前記指定オブジェクトの特徴情報に基づいて、前記追尾指示を受け付けた時点よりも過去に複数の撮影部により撮影された過去映像から、前記指定オブジェクトを検索する検索ステップと、
   前記検索ステップでの検索において検索された前記指定オブジェクトから抽出される追加の特徴情報に基づいて、前記時点よりも後に前記撮影部により撮影された映像において、前記指定オブジェクトを追尾する追尾ステップと、
   を含む情報処理方法。
8. コンピュータに、
   指定オブジェクトの追尾指示を受け付けた場合、前記指定オブジェクトの特徴情報に基づいて、前記追尾指示を受け付けた時点よりも過去に複数の撮影部により撮影された過去映像から、前記指定オブジェクトを検索する検索ステップと、
   前記検索ステップでの検索において検索された前記指定オブジェクトから抽出される追加の特徴情報に基づいて、前記時点よりも後に前記撮影部により撮影された映像において、前記指定オブジェクトを追尾する追尾ステップと、
   を実行させるためのプログラム。

Images