JP4459788B2

JP4459788B2 - 顔特徴照合装置、顔特徴照合方法、及びプログラム

Info

Publication number: JP4459788B2
Application number: JP2004331894A
Authority: JP
Inventors: 博貴神山; 仁八塩
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-11-16
Filing date: 2004-11-16
Publication date: 2010-04-28
Anticipated expiration: 2024-11-16
Also published as: JP2006146323A; US20090052747A1; US8073206B2; CN101057256A; CN100583150C; WO2006054598A1

Description

本発明は、例えば、複数の監視カメラを用いて不審人物などを監視する際に、あらかじめ登録されていた顔との照合を行うことができる顔特徴照合装置に係り、特に人物を特定するための顔照合を行う際の顔画像を合成して照合することができる顔特徴照合装置及びこれに用いる顔特徴照合方法、及び顔特徴照合を行うためにコンピュータに実行させるプログラムに関するものである。

従来、監視カメラによる監視システムでは、複数の場所に設置された監視カメラからの画像に基づき、設置している複数のカメラから、監視員がコントローラ等により任意の１台を選択して所望の地点の監視を行っていた。しかしながら、所望の地点の監視を行う場合に、監視員が指定した監視カメラが最も適切な画像を撮影できるとは限らなかった。
そこで、上記点を改善する方法として、例えば、特許文献１に記載のものが知られている。即ち、これは、複数の位置にカメラを設置しておき、旋回可能な複数のカメラの中から監視員が指示する位置に最も近いカメラを自動的に選択して表示させる、という構成のものである。
特開２００２−７７８８９号公報

しかしながら、従来のように、上記した複数のカメラの中から監視員が選択するカメラとして、例えば監視対象となる人物の最も近くに設置のカメラを選択しても、このカメラが、必ずしも最適な映像を表示するかどうかは分からない。すなわち、最適な映像とは、対象とする人物を特定（照合）するのに必要な映像が表示されることである。

従って、監視対象である人物を撮影するのに最適なカメラが、監視員が指示した位置に最も近いカメラである否かは、その状況によって変わってくる。このため、監視員は、見たい人物をすぐに撮影できない場合もあり、さらに、人物を特定するための照合に適切な画像が高い確度で取得できるかどうかは分からない、という欠点がある。

本発明は、上記事情に鑑みてなされたもので、監視員が見たい監視対象の人物を特定（照合）するために必要な適切な画像を合成することができる顔特徴照合装置、顔特徴照合方法、及びプログラムを提供することを目的とする。

本発明の顔特徴照合装置は、複数の撮像手段と、前記複数の撮像手段を制御する撮像制御手段と、前記複数の撮像手段によって撮像した画像を表示する表示手段と、前記撮像した画像とあらかじめ登録されている画像データとを照合する照合手段と、を備え、前記照合手段は、前記撮像した両画像中から人物を検出する人物検出部と、前記検出した人物の撮像画像から顔領域を検出する顔領域検出部と、前記検出した顔領域から顔特徴を抽出する顔特徴抽出部と、前記検出した顔領域の向きを判定する顔向き判定部と、前記抽出した顔特徴を保持する顔特徴保持部と、前記顔特徴保持部から前記判定した顔向きと逆方向の顔特徴を探し出し、該逆方向の顔特徴と前記抽出した顔特徴とを合成する顔特徴合成部と、前記合成した顔特徴と顔特徴データベースにあらかじめ登録されている顔特徴との照合を行う照合部とを備え、前記顔特徴合成部は、前記検出した顔領域に正面顔がないと判定されたとき、前記抽出した顔特徴と前記顔特徴保持部に保持されている顔特徴とは逆向きの顔特徴とを合成することを特徴としている。
この構成により、複数の撮像手段により監視対象の人物を撮影するため、監視員が見たい人物を選択すると、撮影可能な撮像手段による様々な角度からの映像を見ることができる。また、ある撮像手段により撮像した画像が照合に適さないと判定されれば、照合に適した画像へと合成することによって、1台の撮像手段では照合に失敗していた場合でも、照合の精度を向上させることができる。

また、本発明の顔特徴照合装置は、前記撮像制御手段は、外部からの制御を行う外部装置とのインターフェースである外部Ｉ／Ｆ部と、前記外部装置から入力される画像座標を所定のワールド座標に変換する座標変換部と、前記撮像手段を動作させるための旋回角を算出する撮像装置制御部とを有することを特徴としている。
この構成により、複数の撮像手段により監視対象の人物を連続的に撮影するため、監視員が見たい人物を外部装置で選択すると、撮影可能な撮像手段による様々な角度からの映像を連続的に見ることができる。

本発明の顔特徴照合装置は、前記照合手段は、前記複数の撮像手段のうち、前記検出した人物の位置検出を行う位置検出用の撮像手段と前記検出した人物の追尾を行う追尾用の撮像手段とを選択する撮像手段選択部と、を有することを特徴としている。
この構成により、複数の撮像手段により監視対象の人物を連続的に撮影するため、監視員が見たい人物を選択すると撮影可能な撮像手段による様々な角度からの映像を連続的に見ることができる。しかも、ある撮像手段により撮像した画像が照合に適さないと判定されれば、照合に適した画像へと合成することによって、1台の撮像手段では照合に失敗していた場合でも、照合の精度を向上させることができる。
また、本発明の顔特徴照合方法は、複数の撮像手段と、前記複数の撮像手段を制御する撮像制御手段と、前記複数の撮像手段によって撮像した画像を表示する表示手段と、前記撮像した画像とあらかじめ登録されている画像データとを照合する照合手段と、用い、前記撮像した画像中から人物を検出し、前記検出した人物の撮像画像から顔領域を検出し、前記検出した顔領域から顔特徴を抽出し、前記検出した顔領域の向きを判定し、前記抽出した顔特徴を保持し、前記保持した顔特徴から前記判定した顔向きと逆方向の顔特徴を探し出し、該逆方向の顔特徴と前記抽出した顔特徴を合成し、前記合成した顔特徴とあらかじめ登録されている顔特徴データベースの顔特徴とを照合し、前記顔特徴を合成する際、前記検出した顔領域に正面顔がないと判定されたとき、前記抽出した顔特徴と前記保持した顔特徴とは逆向きの顔特徴とを合成することを特徴としている。
この方法により、ある撮像手段により撮像した画像が照合に適さないと判定されれば、照合に適した画像へと合成することによって、1台の撮像手段では照合に失敗していた場合でも、照合の精度を向上させることができる。

また、本発明のプログラムは、複数の撮像手段と、前記複数の撮像手段を制御する撮像制御手段と、前記複数の撮像手段によって撮像した画像を表示する表示手段と、前記撮像した画像とあらかじめ登録されている画像データとを照合する照合手段と、を用い、前記撮像した画像中から人物を検出するステップと、前記検出した人物の撮像画像から顔領域を検出するステップと、前記検出した顔領域から顔特徴を抽出するステップと、前記検出した顔領域の向きを判定するステップと、前記抽出した顔特徴を保持するステップと、前記保持した顔特徴から前記判定した顔向きと逆方向の顔特徴を探し出し、該逆方向の顔特徴と前記抽出した顔特徴を合成する合成ステップと、記合成した顔特徴とあらかじめ登録されている顔特徴データベースの顔特徴との照合を行うステップとをコンピュータに実行させるための顔特徴照合動作を行うプログラムであって、前記合成ステップにおいて、前記検出した顔領域に正面顔がないと判定されたとき、前記抽出した顔特徴と前記保持した顔特徴とは逆向きの顔特徴とを合成することを特徴としている。
この構成により、複数の顔特徴を合成する顔画像合成方法をコンピュータに実現するためのプログラムを格納した記録媒体とすると、あらゆる機器に組み込み可能となる。

本発明によれば、表示手段中の監視対象人物を選択して撮影できる全ての撮像手段を制御可能な撮像制御手段を備え、さらに、複数の撮像手段から撮影された顔画像を合成する合成手段を備えることにより、１台の撮像手段のみでは照合に失敗していた場合でも、照合を可能にすることにより、精度を向上させることができる。

以下、本発明の実施形態について、添付図面を参照しながら詳細に説明する。
［第１の実施形態］
図１は、本発明の顔特徴照合装置のシステム構成を示すものであり、複数の撮像手段１と、この撮像手段１を制御する撮像制御手段２と、撮像手段１によって撮影されている画像を表示する表示手段３と、撮像した画像中から人物を検出し、この人物の顔領域を判定して顔画像を抽出し、抽出した複数の顔画像から顔特徴を抽出を行いそれら複数の顔特徴を合成して、あらかじめ顔画像データベース５に登録されている顔特徴との照合を行う照合手段４とを備える。

撮像手段１は、あらかじめ撮像領域を設定して、その撮像領域を撮像する固定カメラや回転カメラ等の一般的な監視カメラ（以下、カメラとよぶ）１Ａ〜１Ｅで構成してある。

撮像制御手段２は、コントローラなどの外部装置６とのインターフェースである外部Ｉ／Ｆ部２１と、外部装置６から入力される画像座標を顔特徴照合システム全体で分かるワールド座標に変換する座標変換部２２と、撮像手段１を動作させるための旋回角を算出する撮像制御部２３とを有する

照合手段４は、各部の詳細については後述するが、映像入力部４１と、撮像した画像中から人物を検出する人物検出部４２と、顔検出部４３と、人物の顔領域を判定して顔画像を抽出する顔抽出部４４と、抽出した複数の顔画像から顔特徴を抽出する顔特徴抽出部４５と、抽出された複数の顔特徴を合成する顔特徴合成部４６と、顔特徴とあらかじめ登録されている顔特徴との照合を行う照合部４７とを有する。

次に、本実施形態の作用について説明する。
監視員は、コントローラ等の外部装置６を用いて表示手段３に表示されている監視対象の中で人物を選択すると、外部Ｉ／Ｆ２１に画像座標が出力され、次に、画像座標が座標変換部２２に出力され、画像座標からワールド座標に変換する処理が行われる。なお、このワールド座標とは、例えば、カメラの位置を原点（０，０，０）として空間内を座標表現するときの座標のことをいう。

ここで、画像座標を（Ｘｃ，Ｙｃ，Ｚｃ）、ワールド座標を（Ｘｍ，Ｙｍ，Ｚｍ）とすると、ワールド座標は、次式で一義的に決定される。

すなわち、(１)式で示される係数、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３、ｔｘ、ｔｙ、ｔｚを求め、ワールド座標に変換すればよい。ただし、これらの係数は、あらかじめ、監視カメラの設置現場に目印を立て、画像座標と設置現場目印のワールド座標の組みを複数用意して（１）式を計算することで、多元連立方程式などから求めることができる。

監視員が監視対象を指定した人物のワールド座標が算出されれば、撮像手段制御部２３にワールド座標を出力する。撮像手段制御部２３では、各カメラ１Ａ〜１Ｅが監視対象が存在するワールド座標を含む領域を撮影できるかどうかを判定する。この方法は、各撮像手段１が撮影できる領域をあらかじめ設置時に保持しておくことで判定できる。判定の結果、撮影できる場合には、初期状態の撮像手段１の撮影角度であるプリセット時の位置と対象のワールド座標の位置関係から、撮像手段１のパン角、チルト角の旋回角度を計算して撮像手段を動かす。このようにして、監視員が選択した監視対象人物を撮影できる全ての撮像手段１で監視対象人物を撮影する。

撮像手段１により撮影された映像が撮像入力部４１に入力される。入力された各撮像手段の映像を人物検出部４２に出力して、各撮像手段の映像から人物を検出する。ここで、人物の検出は、例えば、撮像手段１で撮影される最小単位である１フレーム毎の映像の動きや変化を捉え、その動きや変化の上部に楕円形の物体があることで人物と判定する。次に、顔検出部４３において、検出された人物の中から顔領域を検出する。ここで、顔検出は、例えば、あらかじめ顔画像を複数登録して学習させておいて平均顔を作成し、その平均顔の濃淡画像と似ている領域があるかどうか（相関度が高いかどうか）で判定する。次に、顔特徴抽出部４４にて、顔の特徴となる目、鼻、口といった顔特徴を抽出する。この顔特徴の抽出は、例えば、あらかじめ右目、左目、鼻、口等の顔の特徴を複数登録して学習させておき平均特徴を作成し、その平均特徴の濃淡画像と似ている領域があるかどうか(相関度が高いかどうか)で判定する。

顔特徴を検出した結果、顔が正面を向いているかを判定する。この顔向き判定は、例えば、あらかじめ正面顔、右４５度傾いた顔、左４５度傾いた顔、上４５度傾いた顔、下４５度傾いた顔等を複数登録して学習させておき、各角度における平均顔を作成し、その平均顔の濃淡画像と似ているかどうか（相関度が高いかどうか）でどの方向を向いているかを判定する。もし、正面を向いていると判定されれば、次に、照合部４７に出力し、正面以外と判定されれば、次の顔特徴保持部４５、顔特徴合成部４６に出力する。

まず、正面を向いていると判定された場合について説明する。
正面を向いている場合は、次に照合部４７に出力され、あらかじめ顔画像データベース５に登録してある顔画像と照合する。照合の方法は、例えば、目、鼻、口、眉、顔の輪郭といった顔部位の位置関係、太さ、長さといった情報や顔の濃淡情報といった特徴とのマッチングによって行う。照合した結果、一致度合いの高い、すなわち、一定以上のマッチング度が出た登録画像を、外部Ｉ／Ｆ部２１に出力する。その後、表示手段３に結果を表示する。

次に、顔特徴合成のための端点抽出の方法について、図２を用いて説明する。
図２の（Ａ）のように、左に傾いた顔画像の場合、前記の顔特徴抽出方法で抽出された顔部位の端点を検出する(図２（Ｂ）の×印)。この方法は、例えば、前記抽出した顔部位の輪郭線を抽出してその両端を端点とするような方法で行う。そして、左に傾いた画像であれば、その逆方向である右に傾いた画像があるかどうかを顔特徴保持部４５に問い合わせる。逆方向の特徴が抽出されていれば、次に両画像を合成する。

次に、顔特徴合成の方法について、図３を用いて説明する。
まず、図３の（Ａ）、（Ｂ）のように、お互いに逆方向を向いた顔画像２枚が同じ倍率となるように拡大、縮小を行う。その後、両画像の対応する右目、左目、右鼻、左鼻、右口、左口等の特徴端点が重なるように変換、及び、平行移動を行い、合成する。この変換、平行移動は、例えば、周知のアフィン変換等により行う。ここで、アフィン変換とは、元の図形で直線上に並ぶ点は変換後も直線上に並び、平行線は変換後も平行線であるなど、幾何学的性質が保たれる変換方式の一種である。

なお、図３（Ａ）の座標を（ｕ，ｖ）として、図３（Ｂ）の座標を（ｘ，ｙ）とすると、以下の関係が成立する。
ｕ＝ａｘ＋ｂｙ＋ｃ・・・（２）
ｖ＝ｄｘ＋ｅｙ＋ｆ・・・（３）
すなわち、（２）、（３）式で示される係数、ａ、ｂ、ｃ、ｄ、ｅ、ｆを求めることにより、各座標（ｕ，ｖ）に対応する座標（ｘ、ｙ）を算出し、これにより、図３（Ｂ）の画像を座標変換すればよい。なお、ここでは、アフィン変換等の線形変換の例を示したが、これに限定するものではなく、他の線形変換や非線形変換でもよい。

合成を行った後、合成画像を照合部４７に出力して、あらかじめ顔画像データベース５に登録してある顔画像と照合する。照合の方法は、例えば、目、鼻、口、眉、顔の輪郭といった顔部位の位置関係、太さ、長さといった情報や顔の濃淡情報といった特徴とのマッチングによって行う。照合した結果、一致度合いの高い、すなわち、一定以上のマッチング度が出た登録画像を外部Ｉ／Ｆ部２１に出力する。その後、表示手段３に結果を表示する。

次に撮像制御手段２の動作について、図４を用いて説明する。
図４は、撮像制御手段２の動作を説明するフローである。まず、外部装置６であるコントローラ等により表示手段３に表示されている人物を選択すると、画像座標が入力されてくる。この画像座標を全ての撮像手段１に共通なワールド座標に変換する（ステップＳ１１）。この変換処理は、先に説明した（１）式で示される係数、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３、ｔｘ、ｔｙ、ｔｚをあらかじめ求めておき、ワールド座標に変換すればよい。続いてステップＳ１２からステップＳ１５のループ処理において、撮像手段１である各カメラ１Ａ〜１Ｅの台数分の処理を行う。まず、各撮像手段１が指定されたワールド座標を撮影できるかどうかを判定する(ステップＳ１３)。これは、あらかじめ各カメラ１Ａ〜１Ｅが撮影できる範囲をプリセットで設定しておくことにより判定できる。続いて、各カメラ１Ａ〜１Ｅが撮影できると判定されれば、各カメラ１Ａ〜１Ｅが指定されたワールド座標を撮影するように各カメラ１Ａ〜１Ｅ毎の旋回角を計算する。各カメラ１Ａ〜１Ｅが撮影できないと判定されれば、次の撮像手段１の処理を行うためにステップＳ１２に戻る。

次に、照合手段４の動作について、図５を用いて説明する。
図５は、照合手段４の動作を説明するフローである。まず、各カメラ１Ａ〜１Ｅから映像が入力される。入力されてくる映像に対して、人物を検出する処理を行う(ステップＳ２１)。ここで、人物の検出は、例えば、撮像手段で撮影される最小単位である1フレーム毎の映像の動き変化を捉え、その動き変化の上部に楕円形の物体があることで人物と判定する。続いて、検出された人物の中から顔領域を検出する(ステップＳ２２)。ここで、顔検出は、例えば、あらかじめ顔画像を複数登録して学習させておき平均顔を作成し、その平均顔の濃淡画像と似ている領域があるかどうか（相関度が高いかどうか）で判定する。
次に、検出された顔領域から顔の特徴となる目、鼻、口といった顔特徴を抽出する(ステップＳ２３)。この顔特徴の抽出は、例えば、あらかじめ右目、左目、鼻、口等の顔の特徴を複数登録して学習させておき平均特徴を作成し、その平均特徴の濃淡画像と似ている領域があるかどうか(相関度が高いかどうか)で判定する。

その後で、顔向きが正面であるかを判定する処理を行う(ステップＳ２４)。この正面顔かどうかの向き判定は、例えば、あらかじめ正面顔、右４５度傾いた顔、左４５度傾いた顔、上４５度傾いた顔、下４５度傾いた顔等を複数登録して学習させておき、各角度における平均顔を作成し、その平均顔の濃淡画像と似ているかどうか(相関度が高いかどうか)でどの方向を向いているかを判定する。判定の結果、正面を向いていると判定されれば、あらかじめ登録されている顔データベースから顔データを読み出す処理を行う(ステップＳ２８)。その後、ステップＳ２３で抽出していた顔特徴と、顔データベースから読み出した顔特徴とを照合させる(ステップＳ２９)。この照合の方法は、先に説明したように、例えば、目、鼻、口、眉、顔の輪郭といった顔部位の位置関係、太さ、長さといった情報や顔の濃淡情報といった特徴とのマッチングによって行う。また、正面顔の判定の結果正面ではないと判定されれば、次にステップＳ２３で抽出した顔特徴を保存しておく(ステップＳ２５)。

次に、ステップＳ２３で抽出された顔特徴と逆方向の顔特徴を保存されている顔特徴の中から探しだす(ステップＳ２６)。保存されている顔特徴中にステップＳ２３で抽出された顔特徴と逆方向の顔特徴が存在しなければ、照合処理は終了する。保存されている顔特徴中にステップＳ２３で抽出された顔特徴と逆方向の顔特徴が存在すれば、次に、ステップＳ２３で抽出された顔特徴と読み出した顔特徴を合成する(ステップＳ２７)。この合成の方法は、先に説明した方法により行う。すなわち、まず、逆方向を向いた顔画像2枚が同じ倍率となるように拡大、縮小を行う。その後、両画像の対応する右目、左目、右鼻、左鼻、右口、左口等の特徴端点が重なるように回転、及び、平行移動を行い合成する。この回転、平行移動は、例えば前述したように、周知のアフィン変換等により行う。

その後、あらかじめ登録されている顔データベースから顔データを読み出す処理を行う(ステップＳ２８)。続いて、合成した顔特徴と顔データベースから読み出した顔特徴とを照合させる(ステップＳ２９)。この照合の方法は、先に説明したように、例えば、目、鼻、口、眉、顔の輪郭といった顔部位の位置関係、太さ、長さといった情報や顔の濃淡情報といった特徴とのマッチングによって行う。最後に、照合した結果を表示手段に出力する(ステップＳ３０)。

このように、本発明の第１の実施形態の顔特徴照合装置によれば、複数の撮像手段１により監視対象の人物を撮影するため、監視員が見たい人物を選択すると、撮影可能な撮像手段１による様々な角度からの映像を見ることができる。また、ある撮像手段１により撮像した画像が照合に適さないと判定されれば、照合に適した画像へと合成することによって、1台の撮像手段１だけであれば照合に失敗していた場合でも、別の撮像手段１での照合が可能であるので、照合の精度を向上させることができる。

［第２の実施形態］
次に、本発明の第２の実施の形態の顔特徴照合システムについて図６を用いて説明する。なお、この実施形態において、第１の実施形態と同一部分には、同一符号を付して重複説明を避ける。
図６は、本発明の第２の実施形態に係る顔特徴照合装置のシステム構成を説明するものである。本実施形態の顔特徴照合手段が図１に示す第１の実施形態に係る顔特徴照合手段と異なる点は、人物検出部４２と座標変換部２２の間の照合手段４に、撮像手段選択部４８を有する点である。

この撮像手段選択部４８は、入力が人物検出部４２の出力に接続されている。また、この人物検出部４２は、座標変換部２２にも接続されている。この撮像手段選択部４８を備えることによって、監視員が選択した人物を複数の撮像手段による自動追尾を可能にする。

以下、本実施形態の動作について、主に図１と異なる部分を中心に説明する。
まず、撮像手段１（の各カメラ１A〜１E）から撮影されている映像が映像入力部４１に入力される。続いて、人物検出部４２において、入力された映像中から人物を検出する。この人物検出は、先に説明したように、例えば、撮像手段１で撮影される最小単位である1フレーム毎の映像の動き変化を捉え、その動き変化の上部に楕円形の物体があることで人物と判定する。また、この時同時に人物の移動方向、人物が存在する画像座標も合わせて検出する。次ぎに、この人物検出の結果を撮像手段選択部４８に出力する。この撮像手段選択部４８は、入力された人物検出結果である画像座標から、撮像手段１の中から撮影可能な撮像手段１を選択する。また、同時に、人物検出を行った撮像手段１は、位置検出機能のみを行う撮像手段１とし、先に選択した撮影可能な撮像手段１のうちのその他を、自動追尾を行う撮像手段１とする。その指示を次の座標変換部２２に出力して、自動追尾を行う撮像手段１に対して、画像座標からワールド座標に変換し、ワールド座標を次の撮像手段制御部２３に出力する。その後、各撮像手段１に対してワールド座標を撮影するように旋回角を算出して、各撮像手段１を動作させる。

上記で説明した動作は、撮像手段１で検出した人物を自動追尾する方法について説明したが、以下に、コントローラ等の外部装置６により選択した人物を自動追尾する方法について説明する。
まず、コントローラ等の外部装置６を用いて表示手段３に表示されている監視対象の中で人物を選択すると、外部Ｉ／Ｆ部２１に画像座標が出力される。次に、画像座標が座標変換部２２に出力され、画像座標から顔特徴照合システム全体が分かるワールド座標に変換する処理が行われる。この変換方法については、先に説明した（１）式を用いて行う。続いて、撮像手段選択部４８にて選択された人物の位置を表すワールド座標を撮影可能な撮像手段１を選び、その中から1台を位置検出機能の撮像手段とし、他の撮像手段１を自動追尾機能の撮像手段とする。その指示を次の座標変換部２２に出力して、自動追尾を行う撮像手段１に対して、画像座標からワールド座標に変換し、ワールド座標を次の撮像手段制御部２３に出力する。その後、各撮像手段１に対してワールド座標を撮影するように旋回角を算出して、各撮像手段１を動作させる。

次に、撮像制御手段２の動作について、撮像手段１の動作を説明するフローである図７を用いて説明する。本実施形態における動作フローが図４に示す第１の実施形態の撮像制御手段２の動作フローと異なる点は、図７において撮像手段選択部４８へ自動追尾設定依頼(ステップＳ１Ａ)を有する点である。
以下、主に図４と異なる部分のみ説明する。まず、外部装置６であるコントローラ等により表示手段３に表示されている人物を選択すると、画像座標が入力されてくる。続いて、外部装置６であるコントローラ等から入力された画像座標を、図６の撮像手段選択部４８へ出力する(ステップＳ１Ａ)。その後、自動追尾を行う撮像手段１が選択されて戻ってくる。この動作に関する説明は、以下の照合手段４の動作フローの説明の中で行う。その後、外部装置６であるコントローラ等から入力された画像座標を自動追尾を行う撮像手段１に共通なワールド座標に変換する(ステップＳ１１)。この変換処理は、先に説明した（１）式で示される係数、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３、ｔｘ、ｔｙ、ｔｚをあらかじめ求めておき、ワールド座標に変換すればよい。以下、図４と同様の処理内容である。

次に、照合手段４について、この照合手段４の動作を説明するフローである図８を用いて説明する。なお、ここでは、主に図５と異なる部分について説明する。
本実施形態に係る照合手段４のフロー動作が、図５に示した照合手段４のフロー動作と異なる点は、撮像手段１の選択(ステップＳ２Ａ)と座標変換依頼(ステップＳ２Ｂ)を有する点である。
まず、各撮像手段１からは映像が画像入力部４１に入力される。人物検出部２では、画像入力部４１から入力されてくる映像に対して、人物を検出する処理を行う(ステップＳ２１)。ここで、この人物検出は、先に説明したように、例えば、撮像手段１で撮影される最小単位である1フレーム毎の映像の動き変化を捉え、その動き変化の上部に楕円形の物体があることで、人物と判定する。また、このとき同時に、人物の移動方向、人物が存在する画像座標も合わせて検出する。次に、撮像手段１の選択を行う(ステップＳ２Ａ)。ここでは、入力された人物検出結果である画像座標から複数の撮像手段１の中から撮影可能な撮像手段を選択する。また、同時に、人物検出を行った撮像手段１は、位置検出機能のみを行う撮像手段とし、先に選択した撮影可能な撮像手段１のうちのその他を、自動追尾を行う撮像手段とする。次に、人物検出部４２では、撮像手段選択部４８を介して、座標変換依頼信号を座標変換部２２へ出力する(ステップＳ２B)。この座標変換部２２は、先に示した［数１］に従って座標変換を行う部分であり、自動追尾を行う撮像手段１に対して、画像座標からワールド座標に変換し、ワールド座標を次の撮像手段制御部２３に出力する。その後、撮像手段制御部２３は、各撮像手段１に対してワールド座標を撮影するように旋回角を算出して、各撮像手段１を動作させる。続く顔検出処理(ステップＳ２２)以降は、図５と同様の処理内容である。

このように、本発明の第２の実施形態に係る顔特徴照合装置によれば、複数の撮像手段１により監視対象の人物を連続的に撮影するため、監視員が見たい人物を選択すると、撮影可能な撮像手段１による様々な角度からの映像を連続的に見ることができる。しかも、ある撮像手段１により撮像した画像が照合に適さないと判定されれば、その撮影画像を照合に適した画像へと合成することにより、1台の撮像手段では照合に失敗していた場合でも照合の精度を向上させることができる効果を有し、顔特徴照合システムを提供することができる。

また、本発明は、上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。

本発明の顔特徴照合装置は、表示手段中の監視対象人物を選択して撮影できる全ての撮像手段を制御可能な撮像制御手段を備えるとともに、さらに、複数の撮像手段から撮影された顔画像を合成する合成手段を備えており、１台の撮像手段のみでは照合に失敗していた場合でも照合を可能にすることにより、精度を向上させることができるので、信頼度の高いカメラ監視システムを実現できる。

本発明の第１の実施形態に係る顔特徴照合装置の構成ブロック図（Ａ）、（Ｂ）は、それぞれ、本発明の第１の実施形態に係る顔特徴合成のための端点抽出の方法を示す説明図（Ａ）、（Ｂ）は、それぞれ、本発明の第１の実施形態に係る顔特徴合成を示す説明図本発明の第１の実施形態に係る撮像制御手段の動作を説明するフローチャート図本発明の第１の実施形態に係る照合手段の動作を説明するフローチャート図本発明の第２の実施形態に係る顔特徴照合システムの構成ブロック図本発明の第２の実施形態に係る撮像制御手段の動作を説明するフローチャート図本発明の第２の実施形態に係る照合手段の動作を説明するフローチャート図

符号の説明

１Ａ〜１Ｅ撮像手段
２撮像制御手段
２１外部Ｉ／Ｆ部
２２座標変換部
２３撮像手段制御部
３表示手段
４照合手段
４１映像入力部
４２人物検出部
４３顔検出部
４４顔特徴抽出部
４５顔特徴保持部
４６顔特徴合成部
４７照合部
４８撮像手段選択部
５顔画像データベース
６外部装置

Claims

複数の撮像手段と、
前記複数の撮像手段を制御する撮像制御手段と、
前記複数の撮像手段によって撮像した画像を表示する表示手段と、
前記撮像した画像と顔特徴データベースにあらかじめ登録されている画像データとを照合する照合手段と、
を備え、
前記照合手段は、
前記撮像した画像中から人物を検出する人物検出部と、
前記検出した人物の撮像画像から顔領域を検出する顔領域検出部と、
前記検出した顔領域から顔特徴を抽出する顔特徴抽出部と、
前記検出した顔領域の向きを判定する顔向き判定部と、
前記抽出した顔特徴を保持する顔特徴保持部と、
前記顔特徴保持部から、前記判定した画像の顔向きとは逆方向に傾いた画像についての顔特徴であって前記画像よりも前に撮像された画像についての顔特徴を探し出し、該逆方向に傾いた画像についての顔特徴と前記抽出した顔特徴とを合成する顔特徴合成部と、
前記合成した顔特徴と前記顔特徴データベースにあらかじめ登録されている顔特徴との照合を行う照合部と
を備え、
前記顔特徴合成部は、前記検出した顔領域に正面顔がないと判定されたとき、前記抽出した顔特徴と前記顔特徴保持部に保持されている前記顔特徴とは逆向きの顔特徴とを合成することを特徴とする顔特徴照合装置。
前記撮像制御手段は、
外部からの制御を行う外部装置とのインターフェースである外部Ｉ／Ｆ部と、
前記外部装置から入力される画像座標を所定のワールド座標に変換する座標変換部と、
前記撮像手段を動作させるための旋回角を算出する撮像装置制御部と
を有する請求項１に記載の顔特徴照合装置。
前記照合手段は、
前記複数の撮像手段のうち、前記検出した人物の位置検出を行う位置検出用の撮像手段と前記検出した人物の追尾を行う追尾用の撮像手段とを選択する撮像手段選択部と、
を有する請求項１又は２に記載の顔特徴照合装置。
複数の撮像手段と、
前記複数の撮像手段を制御する撮像制御手段と、
前記複数の撮像手段によって撮像した画像を表示する表示手段と、
前記撮像した画像と顔特徴データベースにあらかじめ登録されている画像データとを照合する照合手段と、
を用い、
前記撮像した画像中から人物を検出し、
前記検出した人物の撮像画像から顔領域を検出し、
前記検出した顔領域から顔特徴を抽出し、
前記検出した顔領域の向きを判定し、
前記抽出した顔特徴を保持し、
前記保持した顔特徴から、前記判定した画像の顔向きとは逆方向に傾いた画像についての顔特徴であって前記画像よりも前に撮像された画像についての顔特徴を探し出し、該逆方向に傾いた画像についての顔特徴と前記抽出した顔特徴とを合成し、
前記合成した顔特徴とあらかじめ登録されている前記顔特徴データベースの顔特徴とを照合し、
前記顔特徴を合成する際、前記検出した顔領域に正面顔がないと判定されたとき、前記抽出した顔特徴と前記保持した前記顔特徴とは逆向きの顔特徴とを合成することを特徴とする
顔特徴照合方法。
複数の撮像手段と、
前記複数の撮像手段を制御する撮像制御手段と、
前記複数の撮像手段によって撮像した画像を表示する表示手段と、
前記撮像した画像と顔特徴データベースにあらかじめ登録されている画像データとを照合する照合手段と、
を用い、
前記撮像した画像中から人物を検出するステップと、
前記検出した人物の撮像画像から顔領域を検出するステップと、
前記検出した顔領域から顔特徴を抽出するステップと、
前記検出した顔領域の向きを判定するステップと、
前記抽出した顔特徴を保持するステップと、
前記保持した顔特徴から、前記判定した画像の顔向きとは逆方向に傾いた画像についての顔特徴であって前記画像よりも前に撮像された画像についての顔特徴を探し出し、該逆方向に傾いた画像についての顔特徴と前記抽出した顔特徴とを合成する合成ステップと、
前記合成した顔特徴とあらかじめ登録されている前記顔特徴データベースの顔特徴との照合を行うステップと
をコンピュータに実行させるための顔特徴照合動作を行うプログラムであって、
前記合成ステップにおいて、前記検出した顔領域に正面顔がないと判定されたとき、前記抽出した顔特徴と前記保持した前記顔特徴とは逆向きの顔特徴とを合成することを特徴とするプログラム。