JP2006527882A

JP2006527882A - 画像内の特定のオブジェクトを検出する方法及びシステム

Info

Publication number: JP2006527882A
Application number: JP2006516840A
Authority: JP
Inventors: ジョーンズ、マイケル、ジェイ; ヴィオラ、ポール、エイ
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-06-17
Filing date: 2004-06-11
Publication date: 2006-12-07
Also published as: WO2004111867A3; US20040258313A1; EP1634188A2; WO2004111867A2; CN100356369C; US7197186B2; CN1856794A

Abstract

【課題】画像内の特定のオブジェクトを検出する方法。
【解決手段】画像平面に対する任意のオブジェクトの向きを求め、この向きに応じて、複数の向き・オブジェクト固有分類器の中から１つを選択する。任意のオブジェクトは、選択された向き・オブジェクト固有分類器を用いて特定のオブジェクトとして分類される。

Description

本発明は、包括的にはコンピュータビジョンおよびパターン認識の分野に関し、特に画像内の任意の向きにあるオブジェクトの検出に関する。

コンピュータビジョンが使用される用途のすべてについて、顔の検出は、極めて難しい課題を提起する。例えば、監視カメラによって取得された画像では、シーンの照明は通常、粗末で、制御不可能であり、またカメラは低品質であり、通常、シーンの重要となり得る部分から遠く離れている。重大な出来事は予測不可能である。多くの場合、重大な出来事はシーンに登場する人物である。人物は通常、その顔によって識別される。シーンにおける顔の向きは、通常、制御されていない。換言すると、解析されるはずの画像は、実質的に拘束を受けていない。

顔の検出は、長く豊富な歴史を有する。中には、ニューラルネットワークシステムを使用する技法もある。Rowley他著「Neural network-based face detection」IEEE Patt. Anal. Mach. Intell., Vol． 20, pp. 22-38, 1998を参照されたい。他の技法として、ベイズ統計モデルを使用するものがある。Schneiderman他著「A statistical method for 3D object detection applied to faces and cars」Computer Vision and Pattern Recognition, 2000を参照されたい。ニューラルネットワークシステムは高速で、功を奏する一方、ベイズシステムは処理時間が長くなることと引き換えに良好な検出率を有する。

画像内の制御されない顔の向きは、特に難しい検出問題を生じる。Rowley他およびSchneiderman他に加えて、広範な画像内の正面の真っ直ぐな顔を首尾よく検出することのできる技法がいくつかある。Sung他は、「Example-based learning for view based face detection」IEEE Patt. Anal. Mach. Intell., volume 20, pages 39-51, 1998において、複雑なシーンにおいて人間の顔の真っ直ぐな正面のビューを見つけ出すための例に基づく学習技法を記載している。この技法は、いくつかのビューに基づく「顔」または「顔以外（non-face）」のプロトタイプクラスタによって人間の顔パターンの分布をモデル化する。各画像位置において、ローカル画像パターンと分布ベースのモデルとの間で異なる特徴ベクトルが計算される。訓練された分類器は、異なる特徴ベクトルに基づいて、現在の画像位置に人間の顔が存在するか否かを判定する。

「正面」および「真っ直ぐ」の定義はシステム毎に異なる場合があるが、現実として、多くの画像は、高い信頼度で検出することが難しい回転した顔、傾いた顔または横顔を含む。

真っ直ぐでない顔の検出は、Rowley他の論文「Rotation invariant neural network-based face detection」Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 38-44, 1998に記載された。このニューラルネットワークに基づく分類器はまず、画像内の正面を向いた顔の回転角度を推定した。画像平面における回転角度、すなわち、ｚ軸を中心とした回転量のみが考慮された。次に、画像が真っ直ぐな位置に回転されて分類された。さらなる詳細については、Baluja他の米国特許第６，１２８，３９７号「Method for finding all frontal faces in arbitrarily complex visual scenes」（２０００年１０月３日）を参照されたい。

図１は、従来技術の顔検出器のステップを示す。画像１０１内の正面を向いた顔の回転を推定する１１０。回転１１１を用いて画像１０１を真っ直ぐな位置へ回転させる１２０。次に、回転した画像１２１を顔または顔以外１３１として分類する１３０。この方法は、面内回転した顔のみを検出する。この方法は、３Ｄにおける任意の向きの顔を検出することができない。

したがって、画像内の任意の向きのオブジェクトを正確に検出することができるシステムおよび方法が必要とされている。

本発明は、画像内の特定のオブジェクトを検出する方法を提供する。画像内の任意のオブジェクトの向きが求められ、この向きに応じて、複数の向き・オブジェクト固有分類器（orientation and object specific classifier）のうちの１つが選択される。任意のオブジェクトが、選択された向き・オブジェクト固有分類器を用いて特定のオブジェクトとして分類される。

システム構造
図２は、本発明による、画像２０１内の任意の向きを有する特定のオブジェクトを検出するシステム２００を示す。本発明において、向きとは、画像２０１が取得された瞬間の画像平面に対する、３つの主軸（ｘ軸、ｙ軸、およびｚ軸）のうちのいずれかまたは全てを中心とした回転、例えばピッチ、ヨー、およびロールを意味する。本発明では「向き」を、従来技術のｚ軸を中心とする１回転と区別する。１つの例示的な用途において、画像内で検出されるオブジェクトは顔であるが、他の任意の向きのオブジェクトも検出することができることを理解すべきである。また、カメラの視点から、同一の方法を用いて、固定されたオブジェクトに対するカメラの向きを求めることができることも理解すべきである。

システム２００は、向き分類器２１０と、分類器選択器２２０と、向き・オブジェクト固有分類器２３０とを備え、これらは互いに接続される。システム２００は、任意のオブジェクトを含む画像２０１を入力として受け取り、画像２０１内の検出された特定のオブジェクト２３１を出力する。分類器選択器２２０は、向きクラス２１１および一組の向き・オブジェクト固有分類器２１２を用いて、選択された分類器２２１を出力する。

好ましい実施形態において、画像は、さまざまなサイズの検出窓すなわち「パッチ」、例えば、画像全体、それぞれが１／４画像である４つの窓等に分割される。

システム動作
動作中、方法はまず、画像２０１内の任意のオブジェクトの向きクラス２１１を求める２１０。この画像２０１内の任意のオブジェクトについて求めた向きクラス２１１に応じて、一組の向き・オブジェクト固有分類器２１２から１つの向き・オブジェクト固有分類器２２１を選択する２２０。次に、選択された向き・オブジェクト固有分類器２２１を用いて、任意のオブジェクトを特定のオブジェクト２３１として分類する２３０。

分類器は、いずれの既知の分類器、例えば、ベイズ分類器、ニューラルネットワークに基づく分類器、サポートベクトルマシン、決定木等であってもよい。

向き分類器
向き分類器２１０は、分類すべきオブジェクト、例えば顔の正の画像サンプルのみで訓練されるマルチクラス分類器である。正の画像サンプルとは、各画像サンプルが特定のオブジェクトの一例であることを意味する。正サンプルは、３つの主軸における可能な向きのいずれかまたは全てにある特定のオブジェクトを含む。画像が取得される瞬間における画像平面に対する任意のオブジェクトの可能な向きのサンプルは、クラスにグループ分けされる。例えば、向きクラスはそれぞれ、そのクラスの所定のピッチ、ヨーおよびロール角度範囲の向きを有する特定のオブジェクトを含む。正サンプルは向きクラスによりラベル付けされる。向き分類器に対する全ての任意のオブジェクト入力が、特定の向きクラスを持つものとして分類される。任意のオブジェクトが特定のオブジェクトでない場合、向き分類器２１０の出力２１１はランダムな向きクラスとなる。

好ましい実施形態において、向き分類器は、Quinlan著「Improved use of continuous attributes in C4.5」Journal of Artificial Intelligence Research 4, 77-90, 1996（参照により本明細書に援用される）に記載されている決定木を用いる。

各ノード関数は、後述する一組の矩形フィルタの中の１つのフィルタであり、枝刈り（pruning）は行われない。決定木のノードはいずれも、最大葉深さ（leaf depth）に達するか、または、葉の含む例がただ１つのノードとなるまで分岐する。

向き・オブジェクト固有分類器
一組の向き・オブジェクト固有分類器２１２の中の各分類器は、検出窓内の特定の向きにある特定のオブジェクトを検出するためのバイナリ分類器である。一組の分類器の中の各分類器は、１つの向きクラスの特定のオブジェクトについて訓練される。選択された分類器２２１は、向き分類器２１０によって出力される向きクラス２１１の特定のオブジェクトについて訓練される向き・オブジェクト固有分類器である。

上述の向きクラスはそれぞれ、３つの主軸のうちの１つまたは全てを中心とする回転角度範囲の画像サンプルを含むことができ、例えば好ましい一実施形態において、この範囲は±１５°であり得る。後述するフィルタは９０°回転させることができる。したがって、各向き・オブジェクト固有分類器もまた９０°回転させることができる。一例として、０°で訓練された正面顔検出器を、ｚ軸を中心として回転させて、９０°、１８０°および２７０°の検出器も得ることができる。同一の回転を、３０°および６０°でそれぞれ訓練された分類器に対して行うことができる。この例の±１５°の範囲を考慮すると、３６０個の分類器ではなく１２個の分類器で全ての正面回転向きクラスをカバーすることができる。同様の分類器を他の向きについて訓練することができる。

フィルタ、特徴、および分類器
形式的には、本発明の好ましい実施形態のフィルタ、特徴および分類器を用いた操作は以下のように定義される。Viola他により２００２年７月２２日付で出願された米国特許出願第１０／２００，７２６号「Object Recognition System」（参照により本明細書に援用される）を参照されたい。画像特徴ｈ_ｉ（ｘ）に対して、

に従って重みα_ｊまたはβ_ｊを割り当てる。ここで、フィルタｆｊ（ｘ）は画像ｘの線形関数、すなわち検出窓であり、θｊは所定のフィルタ閾値である。累積和Ｃ（ｘ）に対して、

に従って値１または０を割り当てる。ここで、ｈ_ｊは画像ｘの複数の特徴であり、Ｔは所定の分類器閾値である。

選択された向き・オブジェクト固有分類器２３０は、累積得点が分類器閾値よりも小さい場合に任意のオブジェクト２０１を拒否し、累積得点が分類器閾値よりも大きい場合に任意のオブジェクトを特定のオブジェクト２３１として分類する。

好ましい実施形態において、本発明のシステムは、上記のViola他に記載されているような矩形フィルタを用いる。図３Ａ〜図３Ｄは、本発明が用いることのできる３つのタイプの既知の矩形フィルタを示す。２矩形フィルタの値は、２つの矩形領域３０１〜３０２内の画素の和の差である。これら２つの領域は、同一のサイズおよび形状を有し、横方向（図３Ａを参照）または縦方向（図３Ｂを参照）に隣接する。３矩形フィルタは、中央の矩形３０４内の和を２倍したものから２つの外側矩形３０３内の和を差し引いた値を計算する（図３Ｃを参照）。最後に、４矩形フィルタは、対角線上の矩形対３０５〜３０６間の差を計算する（図３Ｄを参照）。

何万もの他の単純な矩形フィルタ構成を用いることができることに留意すべきである。フィルタは、検出窓のサイズに合わせてさまざまなサイズとすることができる。２矩形フィルタの場合、影付き矩形の画素強度の和から、影なし矩形内の画素強度の和を引く。３矩形フィルタの場合、影なし矩形の画素の和を２倍して、２倍の数の影付き画素に対応させる（account for）、等とする。本発明によるフィルタとともに他の組み合わせ関数も用いることができる。本発明のフィルタには単純な操作が好ましい。なぜなら、本発明のフィルタは、従来技術のより複雑なフィルタに比べて非常に高速に評価できるためである。

本発明では、内部成分を対角線上に配置した矩形フィルタも用いる。図４Ａおよび図４Ｃは、フィルタを検出窓４１０内で対角線上に配置する矩形フィルタの変形を示す。これらの対角線フィルタ４０１〜４０２では、真っ直ぐでない顔および正面でない顔を検出する場合に、上述した３つのタイプのフィルタに対して精度が向上する。図４Ｂおよび図４Ｄに示すように、対角線フィルタ４０１〜４０２は、４つの重なり合う矩形４０３〜４０６であり、これらが組み合わされて塊状の対角線領域４０８〜４０９が得られる。これらのフィルタは、図３の矩形フィルタと同様に動作する。影付き領域４０８内の画素の和を影付き領域４０９内の画素の和から引く。対角線フィルタはさまざまな向きのオブジェクトに対する感度が高い。対角線の角度は、フィルタ内の矩形成分のアスペクト比によって制御することができる。これらの矩形フィルタは、そのデザインに応じて、さまざまなスケール、向き、およびアスペクト比で非常に高速に評価し、領域平均を測定することができる。

本発明の精神および範囲内で他のさまざまな適合および変更を行い得ることは理解されるであろう。したがって、添付された特許請求の範囲の目的は、本発明の真の精神および範囲内に入るこのような全ての変形および変更を網羅することである。

面内回転した正面を向いた顔を検出する従来技術の方法のフロー図である。任意の向きを有するオブジェクトを検出するシステムおよび方法のブロック図である。本発明が用いる矩形フィルタのブロック図である。本発明が用いる矩形フィルタのブロック図である。本発明が用いる矩形フィルタのブロック図である。本発明が用いる矩形フィルタのブロック図である。対角線上に配置された矩形フィルタのブロック図である。対角線上に配置された矩形フィルタのブロック図である。対角線上に配置された矩形フィルタのブロック図である。対角線上に配置された矩形フィルタのブロック図である。

Claims

画像内の特定のオブジェクトを検出する方法であって、
前記特定のオブジェクトの向き分類器を用いて画像内の任意のオブジェクトの向きを求めること、
前記向きに応じて複数の向き・オブジェクト固有分類器のうちの１つを選択すること、および
前記選択された向き・オブジェクト固有分類器を用いて前記画像内の前記任意のオブジェクトを前記特定のオブジェクトとして分類すること
を含む方法。
前記求める向きは、特定の向きクラスについて所定のピッチ、ヨーおよびロール角度範囲内にある
請求項１記載の方法。
前記特定の向きクラスは、一組の向きクラスと関連付けられる
請求項２記載の方法。
前記一組の向きクラスの中の各向きクラスは、前記クラスについて別個の所定のピッチ、ヨーおよびロール角度範囲を有する
請求項３記載の方法。
前記選択することは、
前記複数の向き・オブジェクト固有分類器のうちの１つを特定の向きクラスに関連付けることをさらに含む
請求項３記載の方法。
前記分類することは、
前記画像上の一組のフィルタの直線状の組み合わせを評価して、累積得点を求めること、
前記累積得点が前記特定のオブジェクトの受け入れ閾値と拒否閾値の範囲内にある間、前記評価することを繰り返すこと、および、さもなければ、
前記累積得点が前記受け入れ閾値よりも大きい場合、前記特定のオブジェクトを含むものとして前記画像を受け入れることをさらに含む
請求項１記載の方法。
前記累積得点が前記拒否閾値よりも小さい場合に、前記特定のオブジェクトを含むものとして前記画像を拒否することをさらに含む
請求項６記載の方法。
前記求めることは、
決定木を用いて前記画像上の前記一組のフィルタを評価することをさらに含み、
前記一組のフィルタのうち１つの矩形フィルタは、前記決定木の各ノードに適用されて特徴を求め、前記特徴は、横断すべき前記決定木の次のノードを決める
請求項６記載の方法。
前記画像を複数の検出窓に分割すること、
前記検出窓を複数のサイズにスケーリングすること、および
前記スケーリングされた検出窓上で前記一組のフィルタを評価することをさらに含む
請求項８記載の方法。
前記画像をサイズおよび位置の異なる複数の検出窓に分割すること、
前記検出窓を前記検出窓のサイズに対する固定サイズにスケーリングすることをさらに含み、
前記求めるステップおよび前記評価するステップは、前記スケーリングされた検出窓上で行われる
請求項８記載の方法。
前記一組のフィルタは、対角線上の矩形フィルタを含む
請求項８記載の方法。
画像内の特定のオブジェクトを検出するシステムであって、
前記特定のオブジェクトの向き分類器を用いて画像内の任意のオブジェクトの向きを求める手段と、
前記向きに応じて複数の向き・オブジェクト固有分類器のうちの１つを選択する手段と、および
前記選択された向き・オブジェクト固有分類器を用いて前記画像内の前記任意のオブジェクトを前記特定のオブジェクトとして分類する手段と
を備えるシステム。
前記一組の向き・オブジェクト固有分類器はいずれも、特定のオブジェクトに関連付けられる
請求項１２記載のシステム。
前記一組の向き・オブジェクト固有分類器はそれぞれ、異なる向きクラスに関連付けられる
請求項１２記載のシステム。