JP2008211534A - 顔検知装置 - Google Patents

Abstract

【課題】顔型テンプレートと画像の類似度の計算は膨大となっており、計算量の軽減に基づく高速処理化が課題となっている。
【解決手段】画像から複数の切り出しモードで顔検知領域を設定する顔検知モード切替手段を設け、各切り出しモードごとに最適化したサイズの顔型テンプレートでテンプレートマッチングを行うことにより顔領域の高速検知を可能とする。
【選択図】 図１

Description

本発明は、監視システム等の顔検知装置に関する。

近年、デジタル画像を被写体となった人物の顔で分類する顔検出処理が様々な分野で利用されるようになっている。一方、顔検出処理において、判別精度だけでなく計算量を削減して高速で動作することが重要な課題となっている。

処理速度を向上させる方法として、例えば、特開２００５−２１５７５０号公報（特許文献１）には、課題として、「顔検知の精度を保持しつつ、処理時間の短縮を図る。」と記載されており、解決手段として「デジタルカメラ１０１等で撮影された画像から被写体の顔領域を抽出する顔検知手段１０６として、画像データと撮像条件等の画像データに関連する付属情報とから、画像領域内の合焦領域情報を取得する手段１０７と、前記合焦領域情報に基づいて該画像領域内で顔検知領域を決定する手段１１０と、画像領域全体ではなく、部分的に顔検知処理を実行する手段１１１とを備える。」と記載されている（要約参照）。

また、特開２００６−２５３８０５号公報（特許文献２）には、課題として、「簡単な操作で撮影画像から複数の顔領域を高速且つ精度良く検出できるようにすること。」と記載されており、解決手段として「撮影者のズーミング操作によって顔領域を指定し、顔領域位置・大きさ探索部２６にて、その指定された顔領域の大きさ相当の顔領域を撮影画像から検出する。」と記載されている（要約参照）。

特開２００５−２１５７５０号公報 （要約参照） 特開２００６−２５３８０５号公報 （要約参照）

ところで、監視カメラで撮影した映像をレコーダに記録する監視システムの普及が進み、犯罪者の特定に利用されている。しかし、犯罪者が写っていると思われる時間帯の画像を人の目ですべて確認するには多大な労力を必要とする為、画像から顔領域を自動検出することが望まれている。このような監視システムにおいては、不特定多数の人物に対する顔検知処理を行う必要があり、テンプレートマッチングによる顔検知が行われている。
テンプレートマッチングによる顔検知処理では、顔型テンプレートと画像の類似度を計算し、ある閾値より類似度が高かった場合、顔があると判断する。そして、顔型テンプレートの位置をずらしながら入力画像全体を走査し、顔型テンプレートの大きさと画像に写っている顔の大きさがマッチングしている時、検知することができる。

図６は従来手法による顔領域検出手法を模式的に説明する図である。画像に写っている顔の大きさは、カメラからの距離によって変化するため様々である。そのため、図６に示すように、顔型テンプレートのサイズを最大サイズから最小サイズまで少しずつ変えて、各サイズ毎に画面全体に渡って照合を繰り返している。また、従来手法では入力画像の全体にわたって顔型テンプレートを用いて照合を繰り返す。この為、顔型テンプレートと画像の類似度の計算は膨大となっており、監視システムにテンプレートマッチング方式の顔検知機能を搭載するには、計算量を軽減して高速処理化することが課題となっている。

顔検知機能の高速化対応として、特許文献１は、デジタルカメラのオートフォーカスに用いられている測距枠を利用して顔検知領域を限定している。また、特許文献２は、デジタルカメラのズームアップ時と本撮影時のズーム倍率から顔領域のサイズを限定することを開示している。

しかし、監視カメラでの撮影は、デジタルカメラの撮影とは異なり、対象人物に対して合焦位置を精密に設定していないため、合焦位置に基づく顔検知範囲の設定あるいは顔サイズの設定によって計算処理を軽減することができない。このように、監視カメラにおいては新たな計算量削減処理に基づく顔検知の高速化処理が必要とである。この点については特許文献１、特許文献２のいずれにおいても考慮されていない。

そこで本発明は、上記課題を解決し、適切に顔を検知することが可能な監視システムを提供することを目的とする。

上記目的を達成するため、本発明は、画像データに含まれる顔を、顔型テンプレートを用いて検知する顔検知装置であって、前記画像データの領域のうち顔を検知する顔検知領域を設定する顔検知モードを複数有し、該複数の顔検知モードを切り替える顔検知モード切替手段と、前記顔検知モードに応じて前記顔型テンプレートのサイズ範囲を設定する顔型テンプレート設定手段と、を有することを特徴とする顔検知装置を用いる。

本発明によれば、適切に顔を検知することが可能な監視システムを提供することができる。

以下、本発明の一実施例としてＡＴＭ（現金自動預入支払機）等の監視システムにについて、図面を用いて説明するが、本発明はＡＴＭ等の監視システムに限られることはない。

図１２は、本実施形態であるＡＴＭの監視カメラの外観を示す。図中のＢ１０がＡＴＭ、Ｂ１１が監視カメラ、Ｂ１２がユーザーを表している。ＡＴＭには、ユーザーが利用する側に、キャッシュカード出入口、預金通帳出入口、現金出入口等が設けられており、ユーザーはタッチパネルにて各出入口の操作を行う。ＡＴＭに取付けられた監視カメラは、ユーザーのＡＴＭ操作位置とその周辺を撮影するよう画角設定がされており、ユーザーの顔が検知される範囲に応じて、顔検知モードの切替設定を可能としている。

図１１は、本発明の顔検知モードの例であり、「全画面モード」「切り出しモード１」「切り出しモード２」の３モードの切替設定が可能である。
「全画面モード」は、サイズが横７０４×縦４８０の画面領域である画面全体を検知対象として、検知する顔のサイズは、最大値横３８７×縦４３０から最小値横９０×縦１００までの任意のサイズの顔検知を可能とする。ここで、これらのサイズは画素数を表す。
「切り出しモード１」は、横３１２×縦１９２の画面領域を顔検知対象として、画面上の切り出し領域の位置設定は任意に移動可能であり、検知する顔のサイズは、最大値横１７２×縦１７２、最小値横４０×縦４０の範囲までの任意のサイズの顔検知を可能とする。
「切り出しモード２」は、横１５６×縦９６の画面領域を顔検知対象として、画面上の切り出し領域の位置設定は任意に移動可能であり、検知する顔のサイズは、最大値横８６×縦８６、最小値横２０×縦２０の範囲の任意のサイズの顔検知を可能とする。

このように、検知対象のサイズに応じて検知する顔のサイズを変化させるのは、顔検知のための処理時間を短縮するためである。例えば、検知対象が横７０４×縦４８０の「全画面モード」のときに、「切り出しモード２」用の最小の顔サイズ横２０×縦２０を用いて検知すると、膨大な計算時間を要することとなる。

本発明では、これらの３モードを、例えばカメラから被写体までの距離に応じて変化させることにより効率的に顔を検知することを可能とする。

図９は従来手法による顔領域検知例を示し、図１０は本発明による顔領域検出例を示す。これらを用いて、顔検知モードを切り替えれば適切に顔を検知できることを以下説明する。

従来手法では、顔検知モードの切替えはなく常に全画面を検知しており、顔検知のためのテンプレートのサイズも一定の範囲のまま変化しない。そのため、図９の画面上におけるＡの人の顔は、テンプレートのサイズの範囲内にあるので検知できるが、Ｂの人の顔はテンプレートのサイズの範囲外にあるので検知できないこととなる。

一方、本発明によればカメラから被写体までの距離に応じてモードを切り替えるため、顔検知のためのテンプレートのサイズの範囲も変化させることができる。例えば、図１０において切り出しモード１を用いることにより、テンプレートのサイズの範囲が変化し、全画面モードでは検知できなかったＢの人の顔も検知できるようになる。

このように、図１０は「全画面モード」で顔検知が困難な場合でも、「切り出しモード１」あるいは「切り出しモード２」に切り替えると顔検知が可能とする例を示しており、本発明は監視カメラと被写体間の距離に応じて「全画面モード」「切り出しモード１」「切り出しモード２」の切替えを行う。これにより、適切に顔を検知することができる。

図１は、本発明の一実施形態である監視システムの顔領域検知装置の構成図である。

図１において、１００は画像を撮影する撮像装置、２００は撮像された画像に対して顔検知領域を設定し、顔型テンプレートを用いて顔検知を行い、マッチングした顔領域と画像を内部メディアあるいは外部メディアに保存する画像処理・保存装置、３００は撮像された画像及び顔検知結果の出力を行う画像表示装置、４００は撮像された画像及び顔検知結果を保存又は警報の発報等の処理を行う外部装置である。

撮像装置１００にて撮像された画像は、画像処理・保存装置２００に１６フレーム／秒ずつ送信する。

画像処理・保存装置２００の画像受信部２０１にて受信された画像は、画像読出部２０２にて読み出されて、顔検知領域設定部２０３に送信される。

顔検知領域設定部２０３にて、顔検知領域入力部２０７にてユーザーが指定した顔検知モード及び切り出し領域の位置座標情報に基づいて、顔検知領域の設定を行う。

次に、顔領域検知部２０４にて、顔型入力部２０８から顔検知領域入力部２０７にて設定した顔検知モードに対応するサイズの顔型テンプレートを入力して階調化し、顔検知領域設定部２０３にて設定した顔検知領域に対して階調化された顔型テンプレートを用いて顔座標の検知を行う。

次に、情報付加部２０５にて、画像に検知した顔の数を表す顔番号と顔検知領域の座標と顔領域座標を付加して画像保存部２０９に保存するとともに画像送信部２０６に送る。画像送信部２０６にて外部の画像表示装置３００及び外部装置４００に出力を行う。

なお、画像読出部２０２、顔検知領域設定部２０３、顔領域検知部２０４、顔検知領域入力部２０７、顔型入力部２０８を撮像装置に内蔵する構成も可能である。装置の設計上、省スペースや、制御が容易になることもあるからである。

図２は顔検知領域設定部２０３周囲の構成図である。また、図３は顔検知領域の設定例を表す図である。顔検知領域の具体的な設定方法について、図２、図３を用いて説明する。

図３は、撮影された画像に対して顔検知モードを「切り出しモード１」、切り出し領域の位置指定を、矩形の切り出し領域の左上と右下の頂点座標（100,100），（412,292）で表現している。

図２において、２０２はアナログ画像をデジタル画像に変換するなど、入力画像を加工可能な画像データに変換し、機器のメモリ上に画像を読み出す画像読出部、２０７は入力された画像を見ながら顔を捜す領域を移動制御し、顔検知領域を入力する顔検知領域入力部、２１１は入力された領域からX軸方向とY軸方向の位置座標情報に変換する領域計算部、２１０は領域計算部２１１から受信した位置座標情報を入力画像に設定する領域決定部である。座標が設定された画像は領域顔領域検知部２０４に送信される。位置座標情報の指定は、監視カメラをATM等に設置する際に、実際にユーザーが撮像装置の映像を見ながら、顔の出現が予想される顔検知領域の矩形の左上と右下をマークすることで行われる。ユーザがマークした２点の位置は、領域計算部２１１で入力画像との位置合わせの為、座標に変換されて領域決定部２１０に送られる。領域決定部２１０では領域計算部２１１から送られてきた２点の座標を、画像ヘッダ上に書き込み、顔領域検知部２０４に送信する。また、顔探索領域の設定は矩形に限らず、円形の中心座標などを用いて設定とすることも可能である。

次に、図４に示す顔領域検知部２０４の詳細ブロック図を用いて、顔型テンプレートのセッティングと、顔型テンプレートを用いた顔検知領域に対する顔検知について説明する。

図４にて、顔型入力部２０８から入力する顔型テンプレートは、複数人の顔画像を合成した平均顔を用いる。また、眉や目や鼻や口等の顔パーツだけのテンプレートを使って、それら顔パーツの位置関係、或いは特徴量の類似度で顔を判別する場合もある。これらのパーツのテンプレートを用いた方が顔を判別しやすくなる場合もあるからである。監視カメラの場合、天井などの高い位置に設置されることが多い為、斜め上から撮影された顔の平均顔を用いる場合もある。この平均顔は予め生成され、デジタルデータ化されて顔型入力部２０８に入力しておく。そして、上記顔検知用テンプレートを顔領域検知部２０４の顔型設定部２１４に設定する。

顔型設定部２１４では、顔型テンプレートを顔検知に最適な大きさに変換し顔領域計算部２１３に送信する。例えば、「切り出しモード２」の場合は、顔型テンプレートの最大サイズ「横８６×縦８６」に変換し、顔サイズの最大サイズと最小サイズ間で諧調化した複数の顔型テンプレートを生成する。この階調化した複数の縮小顔型テンプレートは、予め生成しておき、顔型入力部２０８に入力しておくことも可能である。
顔領域計算部２１３にて、顔検知領域設定部２０３からの入力画像のヘッダから顔検知領域の矩形の左上と右下を指示する２点の座標情報を読出して顔検知領域範囲を決定し、顔型テンプレートとのテンプレートマッチング処理をおこなう。

次に、本発明のテンプレートマッチング処理について、図７のフローチャートと図５のテンプレートマッチングの発明手法を用いて説明する。

ステップ５０１にて、顔領域検知部２０４の画像展開部２１２に顔検知領域設定部２０３から切り出しモードの２点の位置座標に基づいて顔検知領域を設定する。

ステップ５０２にて、上記顔検知領域をメモリに展開する。

ステップ５０３にて、上記顔検知領域に対する顔型テンプレートのマッチング処理を行う。図５に示すように、まず、検知モード設定により決定された顔型テンプレートの最大サイズを用いて、顔検知領域の左上端から右上端までマッチング操作を行った後、顔型テンプレートを顔検知領域の左上端に戻して顔型テンプレート分だけY軸方向に下げ、再び顔検知領域の右端までX軸方向へマッチング操作を行う。以下同様な処理を繰り返して顔検知領域の最下段まで繰り返す。

最大サイズの顔型テンプレートによるマッチング操作にて顔検知されなかった場合は、検知モード設定により決定された顔型テンプレートの最大サイズと最小サイズの範囲内で階調化された次のサイズの顔型テンプレートを用いてマッチング操作を進める。マッチング操作による顔検知の判断は、顔型テンプレートと画像の類似度を計算して所定の閾値以上の場合はYESと判断してステップ５０４に進む。所定の閾値以下の場合は、最小サイズの顔型テンプレートによる顔検知領域全領域のマッチング操作まで行ってNOと判断し、ステップ５０５に進む。

ステップ５０４にて、顔領域をメモリに記憶してステップ５０５に進む。ステップ５０５で用いるメモリの記憶情報例を図８に示す。メモリには、図８に示すように検出された顔の個数を示す顔番号、顔検知領域情報、顔領域情報を書き込む。

ステップ５０５にて、最小サイズの顔型テンプレートによる顔検知領域全領域のマッチング操作が終了したか否かを判断し、終了していない場合は、ステップ５０３にもどる。終了した場合は、ステップ５０６に進み、顔領域検知を終了する。

以上のように、本実施例によれば、顔検知領域を限定することにより、従来のテンプレートマッチングに比べ、大幅に計算量を削減し、検知処理速度を高め、顔検知の高速化を実現する。また、監視システム機器等の計算資源の乏しい機器でも、顔検知領域を狭めて顔検知を行うことにより、検出する顔画像の大小サイズ（カメラから被写体までの距離）を広く設定することができる。
また、本発明によれば特にＡＴＭ（現金自動預入支払機）等の監視システムに好適な高速顔検知処理の提供することができる。さらに、顔領域の高速検知、及び、計算資源の乏しい機器でも顔領域検知を行える利点がある。

本発明の顔検出装置は、搭載される機器の計算力に合わせて検知範囲を設定できるため、機器の能力を最大限に使った顔検出が可能であり、計算資源の有効活用にも寄与する。

本発明の実施例の形態における顔領域検知装置の構成図 本発明の実施例の形態における顔領域検知装置の顔検知領域設定部周囲の構成図 顔検知領域の設定例 本発明の実施例の形態における顔領域検出装置の顔領域検知部の構成図 本発明による顔領域検知手法 従来手法による顔領域検出手法 顔領域検知のフローチャート 本発明の実施例におけるメモリの記憶情報例 従来手法による顔領域検知例 本発明による顔領域検出例 本発明の顔検知モードの例 本実施形態であるＡＴＭの監視カメラの外観図

符号の説明

１００ 撮像装置
２００ 画像処理・保存装置
２０１ 画像受信部
２０２ 画像読出部
２０３ 顔検知領域設定部
２０４ 顔領域検知部
２０５ 情報付加部
２０６ 画像送信部
２０７ 顔検知領域入力部
２０８ 顔型入力部
２０９ 画像保存部
２１０ 領域決定部
２１１ 領域計算部
２１２ 画像展開部
２１３ 顔領域計算部
２１４ 顔型設定部
３００ 画像表示装置
４００ 外部装置
Ａ０１ 顔検知領域（始点）
Ａ０２ 顔検知領域（終点）
Ｂ１０ ＡＴＭ
Ｂ１１ 監視カメラ
Ｂ１２ ユーザー

Claims (4)

1. 画像データに含まれる顔を、顔型テンプレートを用いて検知する顔検知装置であって、
   前記画像データの領域のうち顔を検知する顔検知領域を設定する顔検知モードを複数有し、該複数の顔検知モードを切り替える顔検知モード切替手段と、
   前記顔検知モードに応じて前記顔型テンプレートのサイズ範囲を設定する顔型テンプレート設定手段と、
   を有することを特徴とする顔検知装置。
2. 請求項１記載の顔検知装置であって、
   前記顔検知領域を、前記画像データの領域内で移動する顔検知領域移動手段を有することを特徴とする顔検知装置。
3. 請求項１または２いずれか一項に記載の顔検知装置であって、
   前記顔型テンプレート設定手段は、前記複数の顔検知モード毎に異なる顔型テンプレートの最大サイズと最小サイズ設定とするとともに、前記最大サイズと前記最小サイズ間を階調化したサイズ設定を行うことを特徴とする顔検知装置。
4. 請求項１から３いずれか一項に記載の顔検知装置であって、
   前記画像データは撮像部により撮像されたものであり、
   前記顔検知モード切替手段は、前記撮像部と被写体との距離に応じて前記複数の顔検知モードを切り替えることを特徴とする顔検知装置。

Images