JP2010056720A - ネットワークカメラおよびネットワークカメラシステム - Google Patents

Abstract

【課題】 異なるカメラの間で追跡対象の人物の撮像方向が大きく変化する場合でも、安定して同一人物を追跡することが可能なネットワークカメラを提供する。
【解決手段】 ネットワークカメラは、撮像空間を撮像する撮像部と、撮像した画像から顔領域を検出する顔検出部と、検出した顔の向きを補正して正面向きの顔画像を合成する顔向き補正部と、補正後の顔画像から特徴データを抽出する特徴抽出部と、他のネットワークカメラから送信された特徴データを受信する受信部と、受信した特徴データを蓄積する特徴データバッファと、特徴抽出部にて抽出した特徴データと特徴データバッファに蓄積された特徴データとを照合する特徴照合部と、特徴照合部での照合結果に基づいて、他のネットワークカメラに特徴データを送信する送信部とを備えた構成を有する。
【選択図】 図１

Description

本発明は、複数のネットワークカメラを用いて人物の追跡を行なう装置およびシステムに関する。

従来、カメラにて撮影した画像からテンプレートマッチングなどにより人物を検出し、追跡する装置が知られていた。また、複数のカメラにて撮影した画像を用いて人物の追跡を行う技術が特許文献１等により提案されていた。特許文献１に記載された発明では、第１のカメラにて撮像した画像から侵入者を検知した場合、検知対象をテンプレートとして登録し、このテンプレートを用いて次に検出した侵入者の画像とのマッチングを行う。このテンプレートは、最新の検知データに基づいて逐次更新する。第１のカメラは、登録したテンプレートを第２のカメラに送信する。第２のカメラでは、画像から検出した人物と登録されたテンプレートとのマッチングを行うことにより、第１のカメラで検知した侵入者の追跡を行う。
特許３８１４７７９号公報

一のカメラの画像内では検知対象の形状の変化は緩やかであるため、テンプレートを逐次更新していくことにより人物の追跡を行なうことが可能である。しかしながら、カメラ間でテンプレートを受け渡してテンプレートマッチングによる追跡を行なおうとする場合には、カメラ間での不連続な物体の移動により、物体の形状がテンプレート形状に対して不連続に変化してしまう場合があり得る。各カメラの撮像空間が完全に連続するように、カメラが固定的に設置されていれば、特許文献１に記載の方法でもカメラ間での追跡動作が可能かもしれないが、このような設置の制約を設けるのは現実的ではないし、また、カメラは設置後においても撮像方向を変えることができるのが一般的である。従って、特許文献１に記載したテンプレートマッチングでは撮像の向きの変化に十分に対応できないため、安定した追跡を行なうことは困難であった。

本発明は、上記背景に鑑み、異なるカメラの間で追跡対象の人物の撮像方向が大きく変化する場合でも、安定して同一人物を追跡することが可能なネットワークカメラを提供することを目的とする。

本発明のネットワークカメラは、撮像空間を撮像する撮像部と、撮像した画像から顔領域を検出する顔検出部と、検出した顔の向きを補正して正面向きの顔画像を合成する顔向き補正部と、補正後の顔画像から特徴データを抽出する特徴抽出部と、他のネットワークカメラから送信された特徴データを受信する受信部と、受信した特徴データを蓄積する特徴データバッファと、前記特徴抽出部にて抽出した特徴データと前記特徴データバッファに蓄積された特徴データとを照合する特徴照合部と、前記特徴照合部での照合結果に基づいて、他のネットワークカメラに特徴データを送信する送信部とを備えた構成を有する。なお、本発明のネットワークカメラは、上記の構成と同じ構成を有する他のネットワークカメラと接続して用いられる。

このように顔向き補正部にて顔の向きを正面向きに補正した上で、特徴抽出部にて顔画像の特徴データを抽出するので、撮像方向に関わらず、照合に適した特徴データを取得することができる。このようにして得られた特徴データを他のネットワークカメラから受信し、顔の照合に用いるので、他のネットワークカメラにて取得した顔画像の特徴データに基づいて適切に顔の照合を行うことができ、複数のカメラの間で安定して人物の追跡を行うことができる。なお、顔画像の特徴抽出および照合には、特願平１１−２９５０５８号公報等に記載されたパターン認識方法などを使用することができる。また、特徴照合部での照合結果に基づいて、顔画像の特徴データを他のネットワークカメラに送信するので、検出した人物の顔の特徴データを他のネットワークカメラに引き継ぐことができる。なお、他のネットワークカメラに送信する特徴データは、特徴抽出部で抽出したデータでもよいし、特徴データバッファに蓄積された特徴データでもよい。

本発明のネットワークカメラシステムは、上記のネットワークカメラを複数備え、一のネットワークカメラで検出した顔画像の特徴データを用いて、他のネットワークカメラにて検出した顔画像の特徴データの照合を行うことにより、一のネットワークにて検出した人物を他のネットワークカメラにて追跡する構成を有する。

この構成により、複数のネットワークカメラの間で、撮像方向が変わった場合にも適切に人物の追跡を行うことができる。

本発明のネットワークカメラシステムによる追跡方法は、複数のネットワークカメラが接続されたネットワークカメラシステムによって人物を追跡する方法であって、第１のネットワークカメラが撮像空間を撮像するステップと、前記第１のネットワークカメラが撮像した画像から顔領域を検出するステップと、前記第１のネットワークカメラが検出した顔の向きを補正して正面向きの顔画像を合成するステップと、前記第１のネットワークカメラが補正後の顔画像から特徴データを抽出するステップと、前記第１のネットワークカメラが、第２のネットワークカメラにて撮像し、顔向きを補正した顔画像から抽出した特徴データを前記第２のネットワークカメラから受信するステップと、前記第１のネットワークカメラにて、受信した特徴データを特徴データバッファに蓄積するステップと、前記第１のネットワークカメラにて抽出した特徴データと前記特徴データバッファに蓄積された特徴データとを照合するステップとを備えた構成を有する。

この構成により、本発明のネットワークカメラと同様に、複数のネットワークカメラの間で、撮像方向が変わった場合にも適切に人物の追跡を行うことができる。

本発明によれば、顔向き補正部にて顔の向きを正面向きに補正した上で、特徴抽出部にて顔画像の特徴データを抽出するので、撮像方向に関わらず、照合に適した特徴データを取得することができ、このようにして得られた特徴データを他のネットワークカメラから受信し、顔の照合に用いることにより、複数のカメラの間で安定して人物の追跡を行うことができるというすぐれた効果を有する。

以下、本発明の実施の形態に係るネットワークカメラおよびネットワークカメラシステムについて図面を参照して説明する。

図１は、本発明によるネットワークカメラシステム１の構成を示す図である。ネットワークカメラシステム１は、複数のネットワークカメラ１０，１０ａ，１０ｂが接続されて構成されている。なお、図１では、説明の便宜上、ネットワークカメラ１０，１０ａ、１０ｂと区別しているが、ネットワークカメラ１０，１０ａ，１０ｂは、同じ構成を有している。また、図１では、３台のネットワークカメラ１０，１０ａ，１０ｂを有する例について説明しているが、ネットワークカメラの台数は何台であってもよい。

ネットワークカメラ１０は、ＣＣＤなどの撮像素子などにより構成され撮像空間を撮像して画像を得る撮像部１２と、撮像部１２にて撮像した画像から顔の領域を検出する顔検出部１４と、顔検出部１４にて検出した顔の向きを補正する顔向き補正部１６と、顔向き補正部１６にて補正された顔画像から顔の特徴を抽出する特徴抽出部１８と、他のネットワークカメラ１０ａから顔の特徴データと受信する受信部２２と、受信部２２にて受信した特徴データを記憶する特徴データバッファ２４と、特徴抽出部１８にて抽出した特徴データと特徴データバッファ２４に記憶された特徴データとを照合する特徴照合部２０と、特徴照合部２０での照合結果に応じて特徴データを他のネットワークカメラ１０ｂに送信する送信部２６とを有している。

図２は、上記の構成を有するネットワークカメラ１０の動作を示す図である。ネットワークカメラ１０の動作について説明すると共に、上記各構成の機能について詳しく説明する。

撮像部１２は、撮像した画像をデジタルデータとして取得する（Ｓ１０）。顔検出部１４は、撮像部１２で撮像されたデジタル画像データから人物の顔領域を検出する（Ｓ１２）。

顔向き補正部１６は、顔検出部１４にて検出した顔画像の向きを推定し、正面向きの顔画像を合成する（Ｓ１４）。例えば、“J.Xiao, S.Baker, I.Matthews, and T.Kanade, “Real-time combined 2D+3D active appearance models”, InProceedings of the IEEE Conference on Computer Vision and Pattern Recognition, volume II, pp.535-542, 2004.”に記載された方法を適用することができる。この構成により、正面以外の顔向きでは、顔画像の照合精度が低下することや、他のカメラにおいて撮像方向を特定することができないという問題を解決できる。

特徴抽出部１８は、顔向き補正部１６にて正面向きに補正された顔画像から顔照合を行なうための特徴データを抽出する（Ｓ１６）。特徴データは、例えば、目、鼻、口、眉などの顔のパーツの位置や形状を示すデータである。このような特徴データを用いることにより、照明の条件の違いによる影響を受けづらいという効果もある。

一方、他のネットワークカメラ１０ａは、顔の特徴データとカメラデータや追跡データなどの付帯データを送信する。ここで「追跡データ」とは、複数のネットワークカメラ間で、ある人物を追跡した履歴データであり、それぞれのネットワークカメラの識別番号や、画像中の人物検出位置のデータ、時刻データなどを含む。また、「付帯データ」とは、「特徴データ」以外で、人物追跡にあたってネットワークカメラ間で受け渡されるデータであり、「追跡データ」の他、各カメラの名称を示すテキストデータや、撮像時の各種カメラパラメータなどを含み、最終的なアプリケーションのために必要なデータを付帯させることができる。受信部２２は、他のネットワークカメラ１０ａから送信された顔の特徴データと付帯データを合わせて受信する（Ｓ１８）。受信部２２は、他のネットワークカメラ１０ａから受信した特徴データと付帯データを、特徴データバッファ２４に一時的に記憶する。

特徴照合部２０は、特徴抽出部１８にて抽出された特徴データと、特徴データバッファ２４に蓄積された全ての特徴データとの照合を行なう（Ｓ２０）。特徴照合部２０は、特徴抽出部１８にて抽出された特徴データに対し、あらかじめ設定したしきい値以上で、かつ最も類似度が高い特徴データバッファ２４のデータを、顔検出部１４にて検出した人物と同一人物のデータと判定する。

同一人物のデータがある場合、特徴データバッファ２４に蓄積された付帯データにこのネットワークカメラ１０に関するデータを追跡データとして追加し、追跡データに自身のデータを追加した上で、特徴データと合わせて、送信部２６から他のネットワークカメラ１０ｂに送信する（Ｓ２２）。

このとき送信する特徴データは特徴抽出部１８にて抽出した特徴データでもよいし、特徴データバッファ２４に蓄積されたデータと特徴抽出部１８にて抽出した特徴データのうち、顔向き補正の小さかったもの、すなわち元々正面に近い向きで撮像されたものとしてもよいし、撮像された顔の大きさなどの情報を加味して照合に適していると総合的に判断されるものにしてもよい。さらには、どちらか一方の特徴データを送るのではなく、同一人物と判定された複数の特徴データを特徴データ群を送信してもよい。

なお、以上の説明では、一のネットワークカメラ１０にて人物が検出された後の動作のうち、特に、複数のネットワークカメラ１０の間で追跡の動作を引き継ぐ場合の動作を中心に説明した。ネットワークカメラ１０にて最初に人物を検出したときの動作について説明する。ネットワークカメラ１０は、検出した顔画像の特徴データが特徴データバッファ２４に記憶されたいずれの特徴データとも一致しなかった場合には、新たな人物の顔画像であると判定し、その顔画像を特徴データバッファ２４に記憶する。また、他のネットワークカメラ１０から特徴データを受信していない場合の動作についても説明する。この場合にも、ネットワークカメラ１０は、検出した顔画像の特徴データと特徴データバッファ２４に記憶された特徴データとを照合することにより、一のネットワークカメラ１０内での追跡を行う。以上、本実施の形態のネットワークカメラ１０およびネットワークカメラシステム１について説明した。

本実施の形態のネットワークカメラ１０は、顔検出部１４にて検出した顔の画像を、顔向き補正部１６にて正面向きに補正した上で特徴抽出部１８にて顔の特徴を抽出する。これにより、各ネットワークカメラ１０は、追跡対象の人物の撮像方向に関わらず、常に正面向きの顔画像の特徴データに基づいて顔の照合処理を行うことができるので、複数のネットワークカメラ１０の間で追跡を行うことができる。

以上、本発明の実施の形態のネットワークカメラシステムおよびネットワークカメラについて実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態では、送信部２６からの特徴データの送信先を他のネットワークカメラ１０ｂとしているが、システムの構成によってはサーバ装置やデータ蓄積装置・データ表示装置のようなカメラ以外の他の装置を送信先としてもよい。

上記した実施の形態では、ネットワークカメラ１０ａから特徴データを受信し、ネットワークカメラ１０ｂに特徴データを送信する例について説明しているが、特徴データの送信先は、ネットワークカメラ１０ａであってもよい。これにより、追跡対象がネットワークカメラ１０ａの撮像空間に戻る場合にも追跡を行うことができる。

以上説明したとおり、本発明は、複数のカメラの間で安定して人物の追跡を行うことができるというすぐれた効果を有し、複数のネットワークカメラを用いて人物の追跡を行なうシステム等として有用である。

実施の形態におけるネットワークカメラシステムの構成を示す図 実施の形態におけるネットワークカメラの動作を示す図

符号の説明

１ ネットワークカメラシステム
１０，１０ａ，１０ｂ ネットワークカメラ
１２ 撮像部
１４ 顔検出部
１６ 顔向き補正部
１８ 特徴抽出部
２０ 特徴照合部
２２ 受信部
２４ 特徴データバッファ
２６ 送信部

Claims (3)

1. 撮像空間を撮像する撮像部と、
   撮像した画像から顔領域を検出する顔検出部と、
   検出した顔の向きを補正して正面向きの顔画像を合成する顔向き補正部と、
   補正後の顔画像から特徴データを抽出する特徴抽出部と、
   他のネットワークカメラから送信された特徴データを受信する受信部と、
   受信した特徴データを蓄積する特徴データバッファと、
   前記特徴抽出部にて抽出した特徴データと前記特徴データバッファに蓄積された特徴データとを照合する特徴照合部と、
   前記特徴照合部での照合結果に基づいて、他のネットワークカメラに特徴データを送信する送信部と、
   を備えたネットワークカメラ。
2. 請求項１に記載のネットワークカメラを複数備え、
   一のネットワークカメラで検出した顔画像の特徴データを用いて、他のネットワークカメラにて検出した顔画像の特徴データの照合を行うことにより、一のネットワークにて検出した人物を他のネットワークカメラにて追跡するネットワークカメラシステム。
3. 複数のネットワークカメラが接続されたネットワークカメラシステムによって人物を追跡する方法であって、
   第１のネットワークカメラが撮像空間を撮像するステップと、
   前記第１のネットワークカメラが撮像した画像から顔領域を検出するステップと、
   前記第１のネットワークカメラが検出した顔の向きを補正して正面向きの顔画像を合成するステップと、
   前記第１のネットワークカメラが補正後の顔画像から特徴データを抽出するステップと、
   前記第１のネットワークカメラが、第２のネットワークカメラにて撮像し、顔向きを補正した顔画像から抽出した特徴データを前記第２のネットワークカメラから受信するステップと、
   前記第１のネットワークカメラにて、受信した特徴データを特徴データバッファに蓄積するステップと、
   前記第１のネットワークカメラにて抽出した特徴データと前記特徴データバッファに蓄積された特徴データとを照合するステップと、
   を備えたネットワークカメラシステムによる追跡方法。

Images