JP2003030667A - イメージ内で目を自動的に位置決めする方法 - Google Patents

Abstract

(57)【要約】 【課題】 人間の目を完全に自動的に、しかしながら計
算上は効率的な方法で位置決めする改良された方法を提
供する。 【解決手段】 イメージ内の肌色領域を検出するステッ
プ２０２と、肌色領域における人間の虹彩色画素を検出
するステップ２０６と、肌色領域において検出された虹
彩色画素の位置を使用して、目の位置の初期推定値を形
成するステップ２１４と、推定された初期の目の位置の
間の距離に基づいて、各々の目のサイズを推定し、一方
の目に対する第１のサーチウインドウを、ウインドウの
中心が一方の目に対する推定された初期位置であり且つ
ウインドウのサイズが一方の目の推定されたサイズに比
例するように形成し、テンプレートを利用して第１のサ
ーチウインドウ内で目を位置決めするステップ２１６
と、を包含する方法。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、対象物を自動的に
位置決めするデジタルイメージ処理方法に関しており、
より具体的には、人間の目を位置決めする方法に関す
る。 【０００２】 【従来の技術】デジタルイメージ処理において、人間の
目である領域をイメージ内に検出することがしばしば有
用である。この情報は、例えば目に関連するイメージ内
の他の特徴を位置決めしたりイメージ内の人間の顔の方
向を見出したりするために使用される。２０００年６月
６日付でキム（Kim）に対して発行された米国特許第
６，０７２，８９２号は、イメージの強度ヒストグラム
に対して単純なしきい値法を使用してヒストグラム中で
皮膚、白目、及び虹彩孔を表す３つのピークを見出すこ
とにより、顔のイメージ内における目の位置を検出する
方法を開示している。 【０００３】 【発明が解決しようとする課題】このアプローチにおけ
る問題の一つは、この方法ではイメージ全体を画素毎に
走査して各画素にサーチウインドウを配置する必要があ
る点である。これは膨大な計算パワーを消費する必要が
あるだけではなく、目の領域以外の場所に生じる同様の
ヒストグラムパターンのために、誤った検出結果を高い
確率で生成し得ることである。 【０００４】人間の目を位置決めするニューラルネット
ワーク法が、カー・ケイ・ソン（Kah-Kay Sung）による
「オブジェクト及びパターン検出のための学習及び例の
選択（Learning and Example Selection for Object an
d Pattern Detection）」、A.I.T.R. No.1572（ＭＩ
Ｔ、１９９６年）に開示されている。この方法は、ニュ
ーラルネットワークをトレーニングして、あらかじめ選
択された目のテンプレートから許容可能な歪みを有する
目を認識することを開示している。オペレータは、オリ
ジナルの目のテンプレートを繰り返し歪ませて、目を歪
ませることで作成されるすべての変化に、許容可能また
は許容外とラベルする。歪んだ例、すなわちトレーニン
グイメージと関連するラべリング情報とが、ニューラル
ネットワークに与えられる。このトレーニングプロセス
は、ニューラルネットワークがそのトレーニングイメー
ジに対して満足する認識結果を達成するまで繰り返され
る。トレーニングされたニューラルネットワークは、可
能性のある目の複数の変化を効果的に記憶する。目の位
置決めは、イメージ内のある領域をニューラルネットワ
ークに供給して、所望の出力、すなわちマッチが生じる
かどうかを決定することによって実行される。全てのマ
ッチが、目として特定される。 【０００５】現在知られていて且つ使用されている目の
特定方法は満足のいくものであるが、欠点が無いわけで
はない。タッチスクリーン法は、タッチスクリーンに繰
り返しタッチして目にズームインするという一定の人間
の関与を必要とし、その結果として労力がかかる。さら
に、ニューラルネットワーク法は多大なトレーニングを
必要とし、且つ可能性のある全ての目のサイズ及び方向
についての多大なサーチを実行する必要がある。ルオら
（Luo et al.）によって開示された方法（１９９９年４
月６日付けで発行された米国特許第５，８９２，８３７
号を参照のこと）は、上述の短所を克服するようにイメ
ージ内の目の位置決め方法を改良する。ルオの方法で
は、目の位置のサーチを、ユーザによって提供された２
つの概略位置から開始する。あるアプリケーションで
は、完全に自動化された目の位置決めメカニズムが望ま
れる。 【０００６】したがって、デジタルの顔イメージ内に埋
め込まれた他の情報を利用して、人間の目を完全に自動
的に、しかしながら計算上は効率的な方法で位置決めす
る改良された方法が必要とされている。 【０００７】 【課題を解決するための手段】上記の必要性は、本発明
によれば、前記イメージ内の肌色領域を検出するステッ
プと、前記肌色領域における人間の虹彩色画素を検出す
るステップと、前記肌色領域における前記検出された虹
彩色画素の位置を使用して、目の位置の初期推定値を形
成するステップと、前記推定された初期の目の位置の間
の距離に基づいて、各々の目のサイズを推定するステッ
プと、一方の目に対する第１のサーチウインドウを、前
記ウインドウの中心が前記一方の目に対する前記推定さ
れた初期位置であり且つ前記ウインドウのサイズが前記
一方の目の前記推定されたサイズに比例するように形成
するステップと、テンプレートを利用して、前期第１の
サーチウインドウ内で目を位置決めするステップと、を
包含する、デジタルイメージにおいて人間の目を位置決
めするデジタルイメージ処理方法を提供することによっ
て、満足される。 【０００８】本発明は、前を向いた顔イメージ内におけ
る目の位置を自動的に得るために効果的であり、サーチ
されなければならないイメージの領域を減らし、これに
よって目を位置決めするために必要とされた計算量を非
常に削減し、誤った目の検出結果の発生を減らすという
効果がある。 【０００９】 【発明の実施の形態】図１は、本発明を実行するにあた
って有用なイメージ処理システムを示しており、このシ
ステムは、フィルムスキャナ、デジタルカメラのような
カラーデジタルイメージソース１００、またはピクチュ
アＣＤを有するコンパクトディスクドライブのようなデ
ジタルイメージ記憶装置を含む。デジタルイメージソー
ス１００からのデジタルイメージは、プログラマブルパ
ーソナルコンピュータのようなイメージプロセッサ１０
２、またはサン・スパーク（Sun Sparc）ワークステー
ションのようなデジタルイメージ処理ワークステーショ
ンに供給される。イメージプロセッサ１０２は、ＣＲＴ
ディスプレー１０４、キーボード１０６及びマウス１０
８のようなオペレータインターフェースに接続され得
る。イメージプロセッサ１０２はまた、コンピュータ読
み取り可能記憶媒体１０７にも接続される。イメージプ
ロセッサ１０２は、処理されたデジタルイメージを出力
装置１０９に伝送する。出力装置１０９は、ハードコピ
ープリンタ、長期イメージ記憶装置、他のプロセッサ又
は例えばインターネットに接続されたイメージ通信装置
への接続を備えることができる。 【００１０】以下の記述では、本発明の好適な実施形態
が、ある方法として説明される。しかし、他の好適な実
施形態では、本発明は、説明される方法に従ってデジタ
ルイメージ内の人間の目及び虹彩を検出するためのコン
ピュータプログラム製品を備えている。本発明を説明す
るにあたって、本発明のコンピュータプログラムを、図
１に示されるタイプのパーソナルコンピュータのような
任意のよく知られたコンピュータシステムによって利用
できることは明らかである。しかし、多くの他のタイプ
のコンピュータシステムを使用して、本発明のコンピュ
ータプログラムを実行することができる。したがって、
コンピュータシステムはここでは詳細には説明されな
い。 【００１１】本発明のコンピュータプログラム製品が、
よく知られたイメージ操作アルゴリズム及びプロセスを
使用し得ることが理解されるであろう。したがって、本
願明細書は特に、本発明の方法の一部を形成するか、又
はそれと直接的に協同するアルゴリズム及びプロセスに
関したものになっている。これより、本発明のコンピュ
ータプログラム製品の実施形態は、実現に有用であるが
本願明細書の中では特に示されたり説明されたりしてい
ないアルゴリズム及びプロセスを具現化し得ることが理
解されるであろう。そのようなアルゴリズム及びプロセ
スは従来のものであって、そのような技術における一般
的な技術の範囲内にある。 【００１２】そのようなアルゴリズム及びシステム、な
らびに本発明のコンピュータプログラム製品に関与する
か又は協同してイメージを生成するか或いは処理するハ
ードウエア及び／又はソフトウエアは、本願明細書の中
では特に示されたり説明されたりせず、当該技術におい
て既知であるようなアルゴリズム、システム、ハードウ
エア、コンポーネント、及び要素から選択され得る。 【００１３】本発明の方法を実行するためのコンピュー
タプログラムは、コンピュータ読み取り可能記憶媒体に
記憶され得る。この媒体は、例えば、（ハードドライブ
又はフレキシブルディスクのような）磁気ディスク又は
磁気テープのような磁気記憶媒体、光ディスク、光テー
プ、又は機械読み取り可能バーコードのような光記憶媒
体、ランダムアクセスメモリ（ＲＡＭ）又はリードオン
リーメモリ（ＲＯＭ）のような固体電子記憶装置、ある
いはコンピュータプログラムを記憶するために使用され
る任意の他の物理装置又は媒体であり得る。本発明の方
法を実行するためのコンピュータプログラムはまた、イ
ンターネット又は他の通信媒体によってイメージプロセ
ッサに接続されたコンピュータ読み取り可能記憶媒体に
記憶されても良い。当業者は、そのようなコンピュータ
プログラム製品の等価物がハードウエアとしても構成さ
れ得ることを、容易に認識するであろう。 【００１４】ここで図２を参照すると、本発明の方法が
更に詳細に説明されている。図２は、本発明の虹彩色画
素検出方法の一つの実施形態を描いたフローチャートで
ある。図２に示された実施形態において、虹彩色画素検
出２００は、最初にイメージ内の肌色領域を検出し、そ
れからその肌色領域から虹彩画素を特定することによっ
て達成される。 【００１５】肌色検出における第１のステップは、図２
にブロック２０１として示される色ヒストグラムイコラ
イゼーションである。色ヒストグラムイコライゼーショ
ンブロック２０１は、処理対象のイメージを受け取り、
そのイメージが肌色検出を可能にする形式であることを
確認する。このステップは、人間の目が、照明条件、フ
ラッシュの設定、又はその他の状況のためにイメージ内
で任意の数の色になってしまうために必要とされてい
る。これが、イメージ内の皮膚を自動的に検出すること
を困難にしている。色ヒストグラムイコライゼーション
ブロック２０１において、各イメージの統計的分析が実
行される。イメージ内における任意の一つの色チャンネ
ルの平均強度が所定の値よりも低ければ、そのときには
色ヒストグラムイコライゼーションがそのイメージに対
して実行される。そのような場合、統計的分析によって
そのイメージが照明条件、フラッシュの設定、又はその
他の状況のために外見が改変されている皮膚領域を含み
得ることが示唆されると、そのときには、そのようなイ
メージは肌色領域が検出できるように改変される。色ヒ
ストグラムイコライゼーションブロックの後に、イメー
ジにおける肌色領域のサーチが肌色検出ブロック２０２
にて行われる。デジタルイメージ内の皮膚は多くの方法
で検出することが可能であるが、デジタルイメージ内の
皮膚検出の好適な方法は、共通して譲渡されて同時係属
中の米国特許出願第０９／６９２，９３０号に説明され
ている方法である。この方法では、肌色画素は、イメー
ジの十分にバランスが取れた大きな母集団から収集され
た肌色の可能性のある範囲を含む作業カラー空間を定義
することによって、他の画素から分離される。画素が作
業カラー空間内にてある色を有していると、その画素は
肌色画素と特定される。 【００１６】肌色検出ブロック２０２は、イメージ内の
肌色画素の領域を特定する。この領域は、多くの方法で
定義されることができる。ある実施形態では、肌色領域
は、イメージ内で肌色を有する画素を特定する画素位置
セットを生成することによって定義される。他の実施形
態では、肌色画素のみを含む改変イメージが生成され
る。さらに他の実施形態では、肌色検出ブロック２０２
は、そのイメージ内で肌色領域の輪郭となる境界を定義
する。一つより多くの肌色領域がイメージ内で定義でき
ることが、わかるであろう。 【００１７】楕円領域抽出ブロック２０４は、肌色検出
ブロック２０２によって検出された肌色領域を調べ、顔
を示し得る肌色領域の位置を決める。人間の顔はほぼ楕
円形であるので、肌色領域を調べて楕円形の肌色領域の
位置を求める。楕円形の肌色領域が見つかると、楕円領
域抽出ブロック２０４がその楕円形肌色領域の形状的特
性を測定する。楕円領域抽出ブロック２０４は、これら
の測定結果を使用して、そのイメージ内の顔のサイズ及
び顔の位置を記述するパラメータを定義する。 【００１８】図３は、イメージ内の楕円形肌色領域を定
義するために使用される形状パラメータの間の関係を描
いた図である。形状パラメータは、肌色領域のモーメン
トを計算し、そのモーメントを使用して楕円パラメータ
を推定することによって決定される。図３に示されてい
るように、これらのパラメータには、楕円頂部３００、
楕円底部３０２、楕円左端３０４、楕円右端３０６、楕
円中心行３０８、楕円中心列３１０が含まれる。これら
のパラメータは、引き続くイメージの処理にて使用され
ることができる。本発明の方法を楕円形以外の形状を有
する肌色検出領域を使用して実行できること、及び他の
形状パラメータをそのような形状に関連して設定できる
ことがわかるであろう。 【００１９】楕円領域の抽出が実行された後に、虹彩色
画素検出ブロック２０６がその楕円形肌色領域内の画素
を調べて、虹彩色画素を検出する。本発明の方法では、
虹彩色画素検出ブロック２０６は、画素の赤色強度を測
定することによって、その画素が虹彩であるかどうかを
判定する。赤色強度レベルが測定されるのは、人間の皮
膚が比較的高い赤色強度レベルを有しているのに比べ
て、人間の虹彩が有する赤色強度レベルが低いからであ
る。しかし、本発明の好適な方法は、ある画素が虹彩と
分類されるか又は非虹彩と分類されるかを決定するため
に、赤色レベルしきい値方法を使用しない。 【００２０】その代わりに、本発明の好適な方法では、
画素が虹彩か非虹彩かを確率分析に基づいて分類する。
この確率分析は、虹彩統計モデル及び非虹彩統計モデル
を適用する。虹彩統計モデルは、所与の画素が虹彩画素
である確率を、その画素の赤色強度レベルに基づいて定
義する。同様に、非虹彩統計モデルは、所与の画素が非
虹彩画素である確率を、その画素の赤色強度レベルに基
づいて定義する。これらのモデル間の関係は、図４に例
として示されているように非線形である。図４は、所与
の画素が虹彩画素であることを比赤色強度の関数として
記述する条件付き確率４０２と、所与の画素が非虹彩画
素であることを比赤色強度Ｉの関数として記述する条件
付き確率４０４との図である。 【００２１】確率分析は、多くの形態をとることができ
る。例えば、確率は、これらの確率間の関係に基づいて
虹彩又は非虹彩と分類された画素と、多くの方法で結び
付けられることができる。しかし、好適な実施形態で
は、ベイズモデルとして知られる数学的構成を使用して
確率を結びつけて、ある画素が虹彩に属する所与の赤色
強度を有していることに対する条件付き確率を生成す
る。 【００２２】この実施形態では、ベイズモデルは以下の
ように適用される。 【００２３】 【数１】 ここで、Ｐ（虹彩｜Ｉ）は、所与の画素強度が虹彩に属
することの条件付き確率であり、Ｐ（Ｉ｜虹彩）は、所
与の虹彩画素が比強度Ｉを有することの条件付き確率で
あり、Ｐ（虹彩）は、楕円顔領域内に虹彩が存在する確
率であり、Ｐ（Ｉ｜非虹彩）は、所与の非虹彩画素が比
強度Ｉを有することの条件付き確率であり、Ｐ（非虹
彩）は、楕円顔領域内に非虹彩画素が存在する確率であ
る。ベイズモデルは更に、楕円顔領域内に虹彩が存在す
る確率と楕円顔領域内に非虹彩画素が存在する確率とを
与える。ベイズモデルに基づく確率分析を使用して、あ
る画素が虹彩に属する所与の赤色強度を有する確率が例
えば０．０５よりも大きいと、その画素は虹彩と分類さ
れる。 【００２４】上述の実施形態では、楕円頂部３００、楕
円底部３０２、楕円左端３０４、及び楕円右端３０６に
よって定義された楕円形肌色領域内の画素のみが調べら
れる。調べる対象の画素を楕円形肌色領域内の画素に限
定することによって、調査対象の画素数を低減し、虹彩
ではない画素を虹彩と分類してしまう可能性を減らして
いる。楕円以外の形状を使用して人間の顔をモデル化で
きること、及びそのような形状に適したパラメータをそ
のイメージの引き続く処理にて使用できることが、理解
されるであろう。 【００２５】さらに、最初に楕円又はその他の形状の領
域を検出することなくイメージ内の肌色領域から虹彩画
素を検出できることが、理解されるであろう。そのよう
な場合には、肌色領域の各画素を調べて虹彩色画素を検
出し、且つ肌色領域を定義するパラメータがその後の目
の検出プロセスで使用される。 【００２６】図５は、画素を分類するために使用される
統計モデルを発展させるための、図２の虹彩色／ベイズ
モデルトレーニングブロック２２６にて使用されるプロ
セスを描いたフローチャートである。このステップは、
虹彩を検出するための方法を使用して虹彩画素を検出す
る前に使用される。図示されているように、前を向いた
顔イメージの多くのサンプルが収集されて調べられる。
各イメージ内の顔領域における全ての虹彩画素及び非虹
彩画素が、それから手作業で特定５０２、５０４され
る。次に、所与の虹彩画素が比赤色強度Ｉを有する条件
付き確率Ｐ（Ｉ｜虹彩）が計算され、楕円顔領域内に虹
彩が存在する確率Ｐ（虹彩）５０６が計算され、それか
ら所与の非虹彩画素が比赤色強度Ｉを有する条件付き確
率Ｐ（Ｉ｜非虹彩）が計算され、最後に楕円顔領域内に
非虹彩画素が存在する確率Ｐ（非虹彩）５０８が計算さ
れる。計算された虹彩及び非虹彩の統計的モデルがベイ
ズ公式にて使用され、所与の画素強度が虹彩に属するこ
との条件付き確率Ｐ（虹彩｜Ｉ）５１０が作成される。
アプリケーションでは、ベイズモデルを使用して、虹彩
色画素検出ブロック２０６にて使用されるルックアップ
テーブルを生成することができる。 【００２７】虹彩色画素検出ブロック２０６は、イメー
ジ内の虹彩色画素の位置を特定する。ある場合には、検
出される虹彩色画素が目に関連していることを確認する
ことが望まれる。これは、目の検出ステップを実行する
ことによって行われる。目の位置の初期推定ブロック２
１４を使用して、目の位置が推定される。虹彩画素がイ
メージ内の目に関連しているかどうかを決定するため
に、多くの方法があることが理解される。本発明のある
好適な実施形態では、虹彩色画素の位置を使用して、虹
彩画素がイメージ内の目に関連しているかどうかの決定
プロセスを促進している。 【００２８】検出された虹彩色画素は、クラスタ２０８
にグループ化される。一つのクラスタは虹彩色画素の非
空セットであって、そのクラスタ内の任意の画素が、そ
のクラスタ内の他の画素から所定の距離内にもあるとい
う特徴を有している。所定の距離としての一例は、デジ
タルイメージ高さの１／３０である。虹彩色画素グルー
プ化プロセス２０８は、このクラスタの定義に基づい
て、虹彩色画素をクラスタにグループ化する。しかし、
画素が他の基準に基づいてクラスタ化されてもよいこと
が理解されるであろう。 【００２９】ある状況下では、画素クラスタが有効では
ないことがあり得る。クラスタは、例えば、含まれる虹
彩色画素が多すぎるため、又はクラスタ内の画素の形状
的関係からクラスタが虹彩を表していないことが示唆さ
れるために、無効になり得る。例えば、高さ対幅の比率
が２．０よりも大きいと、そのときにはこのクラスタは
無効である。さらに例えば、クラスタ内の画素数がその
イメージ内の全画素数の１０％よりも多いと、そのとき
にはこのクラスタは無効になる。無効の虹彩画素クラス
タは、本発明の方法による更なる考慮の対象から除外さ
れる。さらに、虹彩色画素クラスタ有効化プロセスが、
以下のステップにて実行される。 【００３０】クラスタ化処理の後、各クラスタの中心
が、クラスタ中心発見ブロック２１０にて計算される。
クラスタの中心は、クラスタの「重心」として決定され
る。クラスタの中心位置は、イメージ座標系の原点に関
して計算される。あるデジタルイメージに対するイメー
ジ座標系の原点は、イメージ境界の左上角として定義さ
れ得る。虹彩色画素クラスタ有効化プロセスは、ブロッ
ク２１０に進む。クラスタ中心の垂直座標が楕円中心行
３０８＋マージンＭよりも大きいと、そのときにはこの
クラスタは無効であり、その後の考慮対象から除外され
る。マージンＭの値の例は、（楕円底部３０２−楕円頂
部３００）の５％である。 【００３１】楕円区分ブロック２１２は、楕円中心列３
１０パラメータを使用して楕円形肌色領域を左半分領域
と右半分領域とに分割する。図６に示されているよう
に、虹彩画素クラスタ６０２とこの虹彩画素クラスタ６
０２の中心位置６００とは、楕円中心列３１０によって
分離される左半分領域又は右半分領域６０４，６０６の
いずれか一方に存在する。 【００３２】ブロック２１４において、目の位置の初期
推定値形成プロセスが、左半分領域にある各クラスタと
右半分領域にある各クラスタとのペアを、クラスタ中心
位置に基づいて形成する。ペアとなる２つのクラスタの
中心間の距離が楕円右端３０６と楕円左端３０４との間
の距離のＫ倍よりも小さく、且つペアとなる２つのクラ
スタの中心間の垂直距離が楕円頂部３００と楕円底部３
０２との間の距離のＮ倍よりも小さいと、このクラスタ
ペアの中心位置が２つの目の初期推定値として使用され
る。Ｋの値の例は０．４であり、Ｎの値の例は０．１で
ある。目の位置のペアの初期推定値を形成するプロセス
により、目の位置の推定値ペアが１対より多く見出され
て、これらがブロック２１６にて使用されて最終的な目
の位置を決定するために使用されることがある。目の位
置決定プロセスは、次に詳しく説明される。 【００３３】ここで、図７を参照すると、目の位置決定
プロセスのフローチャートが描かれている。このプロセ
スは、図１３のように、Ｓ２において、ブロック２１４
から位置データを受領して開始される。プロセスはそれ
から、Ｓ４にて、以下の等式によって目の推定サイズを
決定する。この等式は図１４にグラフィック的に描かれ
ており、ここでｄは目の位置の初期推定値ペアの間の画
素距離であり、ｓは目の推定画素サイズ又は長さであ
る。本発明では、ｓ＝ｄ／１．６１８である。 【００３４】目の推定角度方向もまた、Ｓ４にて、図１
４に描かれているように眼の位置の初期推定値ペアから
生成される。ここでは、２つの目は一列に並んでおり、
したがって各々の目の方向は２つの目を結ぶ線の方向と
ほぼ同じであるとする。この推定された角度をここでは
θとすると、このθは目の位置の初期推定値ペアを結ぶ
線と、目の位置の初期推定値の一つ、好ましくは左の目
の位置を通る水平線との間である。 【００３５】この推定された目のサイズから、ステップ
Ｓ６において、イメージ内の目が目のテンプレートとほ
ぼ同じサイズを有するように入力イメージの解像度が変
更されることを指摘しておくことは、有益である。図１
３に示されているように、本発明の好適な目のテンプレ
ートは、水平方向に１９画素、垂直方向に１３画素の解
像度を有する。この解像度の変更又はサイズ変化によ
り、イメージ内の目が、テンプレートの同じ解像度で同
様の構造上のディテールと合致することを可能にする。
このことは、以下に詳細に説明される。代替案は、異な
るディテール量を有するテンプレートのセットをデザイ
ンして、イメージの解像度を変更させずに保つことであ
る。そのような代替的なデザインは、当業者によって容
易に達成される。 【００３６】図７に戻ると、ステップＳ８において、方
形状のサーチウインドウが、目の位置の初期推定値の一
つの周囲に形成される。そのウインドウの側辺は、以前
に決定された目の推定サイズの重み付けされた積として
定義されている。これは、図１５にグラフィック的に描
かれている以下の等式によって描かれている。ここで、
ｗは画素幅であり、ｈは画素高さであり、ｓは目の推定
サイズ（ｓ＝ｄ／１．６１８）である。目の位置の初期
推定値は、サーチウインドウの中心として使用される。
サーチウインドウの他のデザインは、当業者によって容
易に達成される。 【００３７】ステップＳ１０において、テンプレートの
中心画素を定義されたサーチウインドウ内の各画素に連
続的に移動し、特定のタイプのゾーンベース相互相関を
各画素位置について実行して目の中心画素を決定するこ
とによって、テンプレートとイメージとの間の相互相関
が計算される。これは、以下に詳細に説明される。 【００３８】簡単に図１０を参照すると、ステップＳ１
０のゾーンベース相互相関が開始されると処理はステッ
プＳ１０ａ（図１１）に移行する。テンプレートが既に
規格化された状態で記憶されていないと、ステップＳ１
０ｂにおいて、そのときには検索されて規格化される。
簡単に図１３を参照すると、テンプレートは好ましく
は、複数の目をサンプリングしてこれらの対応する画素
値を、例えば各画素位置における平均値を取ることによ
って関連付けすることから生成される。このテンプレー
トはそれから４つの副領域に区分される。これらの副領
域は、まぶた、虹彩、及び目の２つの角を表す。テンプ
レートを規格化するために、テンプレートイメージ全体
に対する平均画素値を各画素値から差し引いて、その結
果として得られる画素値をテンプレートイメージ全体の
標準偏差によって割り算して、規格化された画素値を得
る。したがって、この結果として得られるテンプレート
は、零と単位分散との平均値を有している。 【００３９】再び図１１を参照すると、テンプレートの
中心を対象の画素位置に置いた上で、ゾーンベース相互
相関は、第１にステップＳ１０ｃにおいて、その中心が
現在の画素にあって且つそのサイズ／方向がテンプレー
トと同じであるブロックをイメージから抽出し、ステッ
プＳ１０ｄにおいて、抽出されたイメージブロックを規
格化することを含む。ステップＳ２０ｅにおいて、抽出
されたブロックの各副領域とテンプレート内のその対応
物との間の相互相関を、イメージの画素を副領域の中心
に置いて計算する。これをここでは、ゾーンベース相関
と称する。各副領域に対する相互相関が所定のしきいレ
ベル、好ましくは０．５を満たすか又はこれを超える
と、ステップＳ１０ｆにおいて、同じ対象イメージ画素
に対するテンプレート全体の相互相関が実行され、これ
をここでは完全相関と称する。しきいレベル、好ましく
は０．７が再び満たされると、図１２のステップＳ１０
ｈにおいて、プログラムは一時的に相関値及びテンプレ
ートのサイズ／方向をバッファに記憶する。一つ又はそ
れ以上の副ゾーンに対する相互相関がしきいレベルを満
たさないか、又はテンプレート全体に対する相互相関が
しきいレベルを満たさないと、ステップＳ１０ｉにおい
て、対象画素における相互相関は「０」に設定されて、
関連するサイズ／方向が「Ｎ／Ａ」に設定される。プロ
グラムはそれから、ステップＳ１０１において、ウイン
ドウ内の最後の画素でなければ次の画素位置に対して続
行され、上述の区分された相互相関及び完全相互相関を
反復する。 【００４０】上述のゾーンベース相関と完全相関とが、
目のサイズ及び方向を改善（リファイン）させるため
に、ステップＳ１０ｊにおいて、推定サイズ近傍の複数
のサイズ（増加及び減少させる）と推定方向近傍の複数
の方向とについてテンプレートを変更することによって
反復される。テンプレートのサイズ／方向のそのような
増減は、当業者によって容易に達成される。この改善に
は、先に説明した同じステップＳ１０ｃ〜Ｓ１０ｉが関
与する。対象の画素位置における一つ又はそれ以上の完
全相関スコアがしきい値を越える値をもたらしたら、プ
ログラムは、ステップＳ１０ｋにおいて、一時バッファ
における最高の相関値とその最高値を得るために使用さ
れたその対応するテンプレートサイズ／方向とを選択し
て、それらをメモリに配置する。上述のテンプレートサ
イズの変更が目の推定サイズをさらに改善するためのも
のであること、及び最も合致するテンプレートの変化が
今度は実際の目の正確なサイズ／方向を示すという指摘
が、理解を促進する。 【００４１】例えば、テンプレートサイズは１０％増加
し且つ１０％減少する。最高の相関値が１９×１３の解
像度のテンプレートから得られたら、目の推定サイズは
調節されない。他のいずれかの解像度が最高相関値を作
り出したら、目の推定サイズは、最高相関スコアを作り
出すテンプレートサイズに合致するように調節される。
同様に、テンプレートの方向は１０度増加し且つ１０度
減少する。対象の画素位置における一つ又はそれ以上の
完全相関スコアがしきい値を越える値をもたらすと、プ
ログラムは、一時バッファにおける最高の相関値とその
最高値を得るために使用されたその対応するテンプレー
ト方向とを選択して、それをメモリに配置する。最高相
関値が元々の推定方向に由来するものであると、目の推
定方向は調節されない。他のいずれかの方向が最高相関
値を作り出したら、目の推定方向は、最高相関値を作り
出すテンプレート方向に合致するように調節される。 【００４２】プロセスはそれから次の画素位置に続き、
ステップＳ１０ｋにおいて、サイズ及び方向が対象画素
に対して改善された後に、ステップＳ１０１において、
上述のゾーンベース相関及び完全相関が反復される。サ
ーチウインドウがそれから他方の目に対して定義され、
第１の目に対する上述のプロセスがそれから、このサー
チウインドウ内の画素に対して反復される。 【００４３】図９を再び参照すると、この時点でプロセ
スは、ステップＳ１２において、各ウインドウ内の最高
相関スコアを含む位置における画素を選択してもよく、
又は、プロセスを続行して、ステップＳ１４〜Ｓ２０に
おいて、各ウインドウ内における複数のピーク相関点の
中の最も可能性のある候補を目の中心画素として検証し
てもよい。ピーク点は、ステップＳ１４において、局所
的な最大完全相関スコアを有する点として位置決めされ
る。これらのピークの位置は、ステップＳ１６におい
て、バッファに記憶される。 【００４４】図１６を参照すると、複数の検証ステップ
が使用される。これらのステップでは、目のペアについ
ての既知の特性を相関中に選択された全ての画素の組み
合わせにマッチングさせて、スコアリング技術(フィギ
ュア・オブ・メリット)を使用して目の中心として最も
可能性のある位置のペアを選択する。第１のステップ
は、ステップＳ１８において、選択された画素の全ての
組み合わせを、２つのウインドウ内における可能性のあ
る候補として形成することである。言い換えると、図１
６に描かれているように、一つのウインドウからの各ピ
ーク画素は、他方のウインドウにおける他のピーク画素
とペアになる。角度方向がそれから決定される（すなわ
ち、対象の２つの画素間に形成された線と、それらの点
の一方、好ましくは左の画素を通る水平線との間の角
度）。角度方向が、ステップＳ１０ｃで推定された角度
方向の５度以内になければ、このペアは、両方の目の中
心に対する可能性のある候補から除外される。角度方向
が推定角度方向の５度以内にあれば、このペアは、それ
に対する特定のスコアと共に記憶される。 【００４５】また、２つの目の候補間の距離が決定され
る。この距離が、人間の顔の知識に従って目のサイズに
比例しなければ、このペアは、両方の目の中心に対する
可能性のある候補から除外される。比例関係が通常の比
例関係の２０％以内であれば、このペアは、それに対す
る特定のスコアと共に記憶される。 【００４６】図１８を参照すると、次のステップでは、
可能性のある組み合わせにおける２つの画素を通る水平
線に沿って画素を取る。各組み合わせに対するコード値
対画素位置のグラフは、図１８に描かれている形状を有
するであろう。この形状から実質的にずれていたら、こ
のペアは、目の中心に対する可能性のある候補から除外
される。形状が実質的にずれていなければ、このペア
は、それに対する特定のスコアと共に記憶される。この
ずれは、好ましくは中央ピーク点と２つのバレイ点の平
均との比として決定されるが、当業者であれば、ずれの
その他の適切な測定値を決定することができる。 【００４７】図２０を参照すると、それから全ての組み
合わせの対称性が調べられる。ここでは、全組み合わせ
の間の距離を取り、それらの中間の距離で、この中間点
を通って垂直方向に画素を通るイメージの両側で対称性
を探す。顔を含む対象領域は、好ましくは、目の間の距
離の２倍の幅を有し且つ目の間の距離の３倍の高さを有
する。顔領域は、目の位置に従って２つの半面、左側と
右側とに区分される。対称性は、好ましくは左側と右側
の鏡像との間の相関によって決定されるが、当業者であ
れば、対称性のその他の適切な測定値を決定することが
できる。２つの半面に対して対称性が存在すれば、この
ペアとその特定のスコアとが再び記憶される。対称性が
存在しなければ、このペアは、可能性のある候補ペアか
ら除外される。 【００４８】さらに、図２０を参照すると、次に、イメ
ージは推定位置に口が存在するかを調べられる。プロセ
スは、目の間の距離に等しい幅を有し且つ分析されてい
る画素ペアから所定の距離にある長方形のボックス内
で、３つ又は４つの線（端）をサーチする。この所定の
距離は、候補ペアの間の距離の１．２倍であるが、当業
者であれば、その他の距離値又は同様の基準を決定し得
る。線（端）が存在すれば、このペアとその特定のスコ
アとが記憶される。存在しなければ、このペアは可能性
のある候補ペアから除外される。 【００４９】組み合わせは、次に、画素位置が初期入力
位置に近接しているかを調べられる。近接さは、画素の
距離によって測定される。近接していれば、そのペア及
びそのスコアが記憶される。近接していなければ、この
ペアは可能性のある候補から除外される。組み合わせは
それから、２つの候補の合成相関を調べられる。合成相
関は、２つの候補位置における完全相関スコアの和であ
る。合成相関が所定のしきい値を越えていると、そのペ
ア及びそのスコアが記憶される。越えていなければ、こ
のペアは可能性のある候補から除外される。ステップＳ
２０において、最も可能性のあるペアは、最高累積スコ
アを有するペアである。目の最終的な位置が、ステップ
Ｓ２２において、このペアによって決定される。 【００５０】各々の上述のフィギュア・オブ・メリット
に対するスコアリング関数の形状は、図１９に描かれて
いる。このスコアリング関数によって、もしある組み合
わせが特定のフィギュア・オブ・メリットのしきい値を
満たさなくても、大きな削減を受けるが、依然として更
なる考慮の対象として保持されることができる。フィギ
ュア・オブ・メリットｘがしきい値Ｔ０に関して満たさ
れれば、スコア累積器への入力となるスコアリング関数
の出力は、最大正規化値である１．０に近くなる。ｘが
しきい値を満たさないと、ｘが満足しない度合いに応じ
て、削減の増加量が評価される。そのようなスコアリン
グ関数を使用することの効果は、候補がしきい値を僅か
に満たさないが最高の累積スコアを有する結果となった
ときに、ロバスト性（エラー強さ）が改良されることで
ある。 【００５１】本発明の主題はデジタルイメージを理解す
る技術に関しており、これは、デジタルイメージをデジ
タル的に処理して認識し、これによって人間が理解可能
なオブジェクト、属性又は条件に対して有用な意味を割
り当て、それから、得られた結果をそのデジタルイメー
ジの更なる処理にて利用する技術を意味するものと、理
解される。

【図面の簡単な説明】 【図１】 本発明を実行するにあたって有用なイメージ
処理システムの模式図である。 【図２】 本発明の目の検出方法を描いたフローチャー
トを示す図である。 【図３】 人間の顔の楕円領域を示す図である。 【図４】 虹彩及び非虹彩画素の強度分布を示すチャー
トである。 【図５】 ベイジアン虹彩モデリングプロセスを描いた
フローチャートを示す図である。 【図６】 虹彩色画素クラスタを示す図である。 【図７】 本発明によって使用されるマッチング手順を
描いたフローチャートである。 【図８】 本発明によって使用されるマッチング手順を
描いたフローチャートの前半部を示す図である。 【図９】 本発明によって使用されるマッチング手順を
描いたフローチャートの後半部を示す図である。 【図１０】 本発明によって使用されるゾーンベース相
互相関プロセスのフローチャートを示す図である。 【図１１】 ゾーンベース相互相関プロセスのフローチ
ャートの前半部を示す図である。 【図１２】 ゾーンベース相互相関プロセスのフローチ
ャートの後半部を示す図である。 【図１３】 本発明のテンプレートのゾーン区分の図で
ある。 【図１４】 オブジェクトのサイズ及び方向の推定値の
獲得の図である。 【図１５】 サーチウインドウの決定の図である。 【図１６】 目の候補のペアリングの図である。 【図１７】 ２つの目の間の距離と２つの目の方向とを
検証する手順の図である。 【図１８】 アイ・トゥ・アイ・プロファイルのマッチ
ングの図である。 【図１９】 スコアリング機能の図である。 【図２０】 対称プロファイルの図である。 【符号の説明】 １００ イメージソース、１０２ イメージプロセッ
サ、１０４ イメージディスプレー、１０６ データ及
びコマンドエントリー装置、１０７ コンピュータ読み
取り可能記憶媒体、１０８ データ及びコマンド制御装
置、１０９ 出力装置、２０１ 色ヒストグラムイコラ
イゼーションブロック、２０２ 肌色検出ブロック、２
０４ 楕円領域抽出ブロック、２０６ 虹彩色画素検出
ブロック、２０８ 虹彩画素をクラスタにグループ化す
るステップ、２１０ クラスタ中心を見出すブロック、
２１２ 楕円分割ブロック、２１４ 目の位置の初期推
定値ブロック、２１６ 最終的な目の位置を決定するブ
ロック、２２６ 虹彩色／ベイズモデルトレーニングブ
ロック、３００ 楕円頂部、３０２ 楕円底部、３０４
楕円左端、３０６ 楕円右端、３０８ 楕円中心行、
３１０ 楕円中心列、４０２ 所与の画素が虹彩画素で
あることの条件付き確率、４０４ 所与の画素が非虹彩
画素であることの条件付き確率、５０２ 虹彩画素、５
０４ 非虹彩画素、５０６ 顔領域における虹彩画素の
確率、５０８ 顔領域における非虹彩画素の確率、５１
０ 画素強度が虹彩である確率、６００ 中心位置、６
０２ 画素クラスタ、６０４ 左半分領域、６０６ 右
半分領域、Ｓ２ プロセスの初期化、Ｓ４ 目のサイズ
の推定、Ｓ６ 目のテンプレート、Ｓ８ サーチウイン
ドウの形成、Ｓ１０ 目の中心画素の決定 Ｓ１０ａ
ゾーンベース相関の初期化、Ｓ１０ｂ テンプレートの
検索及び規格化、Ｓ１０ｃ ブロックの抽出、Ｓ１０ｄ
抽出されたブロックの規格化、Ｓ１０ｅ 相互相関の
計算、Ｓ１０ｆ 全体テンプレートとの相互相関の実
行、Ｓ１０ｈ 相関値のバッファへの記憶、Ｓ１０ｉ
相互相関を零に設定、Ｓ１０ｊ テンプレートを変更、
Ｓ１０ｋ 最高の相関値を選択、Ｓ１０ｌ 続行、Ｓ１
２ 最高の相関点にある画素を選択、Ｓ１４ 局所的な
最大相関、Ｓ１６ ピーク位置をバッファに記憶、Ｓ１
８ 画素コンビネーションを形成、Ｓ２０ 最高累積ス
コアとのペア、Ｓ２２ 最終的な目の位置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジエボ ルオ アメリカ合衆国 ニューヨーク州 ピッツ フォード ティペット ウェイ ５ Ｆターム(参考） 5B057 DA07 DB02 DC03 DC05 DC08 DC19 DC25 5L096 FA18 FA32 FA33 FA34 FA35 FA62 FA66 FA67 FA69 GA17 GA30 GA38 GA51 JA09

Claims (1)

1. 【特許請求の範囲】 【請求項１】 デジタルイメージにおいて人間の目を位
   置決めするデジタルイメージ処理方法であって、 ａ）前記イメージ内の肌色領域を検出するステップと、 ｂ）前記肌色領域における人間の虹彩色画素を検出する
   ステップと、 ｃ）前記肌色領域における前記検出された虹彩色画素の
   位置を使用して、目の位置の初期推定値を形成するステ
   ップと、 ｄ）前記推定された初期の目の位置の間の距離に基づい
   て、各々の目のサイズを推定するステップと、 ｅ）一方の目に対する第１のサーチウインドウを、前記
   ウインドウの中心が前記一方の目に対する前記推定され
   た初期位置であり且つ前記ウインドウのサイズが前記一
   方の目の前記推定されたサイズに比例するように形成す
   るステップと、 ｆ）テンプレートを利用して、前期第１のサーチウイン
   ドウ内で目を位置決めするステップと、を包むことを特
   徴とする方法。