JP3999964B2

JP3999964B2 - 目を検出するマルチモードデジタル画像処理方法

Info

Publication number: JP3999964B2
Application number: JP2001368466A
Authority: JP
Inventors: チェンシャウプウ; エーレイローレンス
Original assignee: イーストマンコダックカンパニー
Priority date: 2000-12-19
Filing date: 2001-12-03
Publication date: 2007-10-31
Anticipated expiration: 2021-12-03
Also published as: EP1229493A3; EP1229493B1; JP2002208014A; DE60123378D1; DE60123378T2; EP1229493A2; US6792134B2; US20020114495A1

Description

【０００１】
【発明の属する技術分野】
本発明は顔の特徴を検出するデジタル画像処理方法に関し、さらに詳細には人の目を検出する方法に関する。
【０００２】
【従来の技術】
デジタル画像処理においては画像内の人の目を検出することはしばしば有用である。例えばこの情報は見た目の人の向きのような画像内の他の特徴を捜し出すのに使用される。この情報はまた画像内の人の顔の向きの認識のような他の目的にも使用できる。
【０００３】
デジタル画像内の人の目を認識する方法は知られた技術である。例えば米国特許第６０７２８９２号はデジタル画像内の人の目の位置を検出するのに閾値法を用いることを開示している。この方法においてはラスタ走査法を用いて走査窓が画像全体を走査する。ヒストグラム抽出装置が画像を走査しながら窓から強度ヒストグラムを抽出する。各強度ヒストグラムがピーク検出器により検査され、肌と白目と黒目とを表わすヒストグラム内の三つのピークが認識される。目の位置を示す画像内の候補位置が三つのピークを有するヒストグラムにより同定される。各候補位置に関連するヒストグラムの面積を計算することによりまた最大面積をもつヒストグラムに関連する位置を選択することにより候補位置の中から目の位置が決定される。
【０００４】
【発明が解決しようとする課題】
このやり方の問題の一つは画像全体を画素一つずつ走査しなければならないことである。従って探索窓を画像内の各画素に位置決めしなければならないし、各画素位置においてヒストグラムを集計しなければならない。さらに各ヒストグラムの面積を計算して記憶しなければならない。この方法は膨大な量の計算力を消費し、画像処理速度を低下させることは言うまでもない。この方法はまた誤認識を高い割合で生じ得る。
【０００５】
異常に高い赤色含有量を有する人の目を検出する方法も知られている。このような異常に高い赤色含有量は赤目として知られている写真現象に一般に関連する。赤目は典型的には瞳により反射されるフラッシュライトにより生ずる。本願と同一の出願人に譲渡された係属中の米国特許出願第０８／９１９５６０号に述べられているように画像内の赤目を表す高い赤色含有量を有する画素を探索することは知られている。同様に同一出願人に譲渡された米国特許第５４３２８６３号には赤目の色特性を有する画像内の画素を検出するユーザ対話形の方法について述べられている。これらの方法では赤目が存在する場合にのみ目が検出されるということは言うまでもない。
【０００６】
このようにデジタル画像内の人の目をより正確にかつ効率よく捜し出す方法に対する要求が存在する。
【０００７】
【課題を解決するための手段】
本発明の一つの態様によれば、デジタル画像内の人の目を検出するデジタル画像処理方法であって、虹彩画素を検出するステップと、虹彩画素をクラスタ化するステップと、虹彩画素クラスタの数を決定するステップと、画像内の目の位置を同定するために、ｉ）虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用する方法であって、各虹彩画素クラスタの中心を求めること、および虹彩画素クラスタの中心間の幾何学的関係に基づいて一対の目を検出することを含む方法、ｉｉ）虹彩画素クラスタに基づいて目の位置を検出するために相対的相関を適用する方法であって、画像において各虹彩画素クラスタの中心を取り囲む窓を定めること、虹彩画素クラスタを左半分の虹彩画素クラスタと右半分の虹彩画素クラスタとに分けること、平均的な目のテンプレートと左半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法、ｉｉｉ）画像内の画素から目の位置を検出するために相対的相関を適用する方法であって、画像を左半分領域と右半分領域とに分けること、平均的な目のテンプレートと左半分領域内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分領域内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法の少なくとも一つを選択するステップとを含み、方法ｉｉｉ）は、２つ未満の虹彩画素クラスタが検出された場合に選択され、方法ｉ）は、少なくとも２つの虹彩画素クラスタが検出された場合に選択され、方法ｉｉ）は、方法ｉ）により目の位置が検出されない場合の後に選択されることを特徴とするデジタル画像処理方法が提供される。
なお、本段落の以降の記載は、出願当初の［特許請求の範囲］に対応した記載であり、補正後の本発明においては参考となる記載である。
本発明に従えば前記の要求はデジタル画像内の人の目を検出するデジタル画像処理方法により満たされる。この方法は画像内の虹彩画素を検出するステップと、虹彩画素をクラスタ化するステップと、目の位置を同定する以下の方法の内の少なくとも一つを選択するステップを含むことを特徴とする。すなわち虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用することと、目の位置を検出するために虹彩画素クラスタを用いて差分自乗和法を適用することと、画像内の画素から目の位置を検出するために差分自乗和法を適用することとである。ただし、適用される方法は虹彩画素クラスタの数に基づいて選択される。
【０００８】
【発明の実施の形態】
図１はカラーデジタル画像源１０、例えばフィルムスキャナ、あるいはデジタルカメラ、あるいはピクチャＣＤをもつコンパクト・ディスク・ドライブのようなデジタル画像記憶装置を含む、本発明を実施するのに有用な画像処理システムを示す。デジタル画像源１０からのデジタル画像は画像処理装置１２、例えばプログラムされたパーソナル・コンピュータ、あるいはＳｕｎＳｐａｒｃ２０ワークステーションのようなデジタル画像処理ワークステーションに供給される。画像処理装置１２はＣＲＴディスプレー１４、およびオペレータ・インタフェース、例えばキーボード１６やマウス１８に接続してもよい。画像処理装置１２はまたコンピュータで読取り可能な記憶媒体１７に接続される。画像処理装置１２は処理されたデジタル画像を出力装置１９に送る。出力装置１９はハードコピープリンタ、あるいは長期画像記憶装置、あるいは別の処理装置への接続部、あるいは画像遠隔通信装置、例えばインターネットで構成することができる。
【０００９】
図２には本発明の方法がより詳細に説明されている。図２は本発明の目の検出方法の一つの実施例を説明するフローチャートである。図２は処理されるべきデジタルカラー画像がまず虹彩色画素検出ステップ２００に入力されることを示す。図示された実施例においては、虹彩色画素検出はまず画像内の肌色領域を検出し、次に肌色領域内の赤色強度レベルの測定による虹彩色画素を同定することにより達成される。
【００１０】
肌色検出の第１ステップはステップ２０１として図２に示すカラーヒストグラムの等化である。カラーヒストグラム等化ステップ２０１は処理されるべき画像を受けて画像が肌色検出を許容する形式になっていることを保証する。このステップが必要なのは人の肌が照明条件やフラッシュの設定やフィルム特性により画像内でどんな色をも呈し得るからである。このことはそのような画像内の肌の自動検出を困難にする。カラーヒストグラム等化ステップ２０１においては各画像の統計的解析が実行される。照明条件により外観が変更されてしまった肌領域を画像が含み得るということが統計的解析により示唆される場合には、そのような画像は肌色領域が検出できるように修正される。
【００１１】
カラーヒストグラム等化ステップの後には、肌色検出ステップ２０２において肌色領域が画像探索される。デジタル画像内の肌は多くの方法で検出可能であるが、デジタル画像内の肌検出の好ましい方法は、大きな、バランスの良い画像母集団から収集された肌色候補範囲を含む実用カラー空間を定めることにより画像内の他の画素から肌色画素を分離することである。次に画素が実用カラー空間内の色を有する場合にはその画素は肌色画素と同定される。
【００１２】
肌色検出ステップ２０２は画像内の肌色画素領域を同定する。この領域はどんな方法でも定めることができる。一つの実施例においては肌色を有する画像内の画素を同定する画素位置セットにより定められる。別の実施例においては肌色画素のみを含む修正画像が作り出される。また別の実施例においては肌色検出ステップ２０２が画像内の肌色領域を限定する境界を定める。画像内に同定される肌色領域が一つより多い場合もあり得ることは言うまでもない。
【００１３】
卵形領域抽出ステップ２０４は顔を表す肌色領域の場所を捜し出す肌色検出ステップ２０２により検出された肌色領域を検査する。人の顔は大まかには卵形をしているので卵形肌色領域を捜し出すために肌色領域が検査される。卵形肌色領域が見つかれば卵形領域抽出ステップ２０４は卵形肌色領域の幾何学的な特性を測定する。卵形領域抽出ステップ２０４はこれらの測定を用いて顔の大きさと画像内の顔の位置を記述するパラメータを定める。
【００１４】
図３は画像内の卵形肌色領域を定めるのに用いられる幾何学的パラメータ間の関係図である。図３に示すようにこれらのパラメータは卵形部上部３００と、卵形部下部３０２と、卵形部左部３０４と、卵形部右部３０６と、卵形部中心行３０８と、卵形部中心列３１０とを含む。これらのパラメータは本方法の後のステップにおいて目の検出工程の効率を向上するのに用いられる。本発明の方法は卵形以外の形を有する肌色検出領域を用いて実行できること、またそのような形に関連づけて他の幾何学的パラメータを定め得ることは言うまでもない。また画像内の卵形あるいは他の形をした領域を検出することが必須ではないことも言うまでもない。そのような場合、肌色領域が虹彩色画素を検出するために検査される。さらにこの場合、やはり肌色領域を記述する他のパラメータが目の検出工程において用いるために定められる。
【００１５】
卵形領域抽出が実行されたあとに卵形肌色領域が虹彩色画素を求めて探索される。このステップは虹彩色画素検出ステップ２０６により実行される。虹彩色画素探索を卵形肌色領域内に限定すれば虹彩色画素検出の効率が向上することは言うまでもない。また虹彩に関連する画素を検出する虹彩画素検出ステップ２００に関して多くのやり方があることも言うまでもない。そのような画素は単純な色閾値法やモデルマッピングやその他の周知技術の方法により同定できる。
【００１６】
一つの好ましい実施例においては、同一出願人に譲渡された係属中の米国特許出願「ＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇＭｅｔｈｏｄａｎｄＣｏｍｐｕｔｅｒＰｒｏｇｒａｍＰｒｏｄｕｃｔｆｏｒＤｅｔｅｃｔｉｎｇＨｕｍａｎＩｒｉｓｅｓｉｎａｎＩｍａｇｅ」において請求および説明された方法を用いて虹彩画素が検出される。この実施例においては画素の赤色強度を測定することにより画素が虹彩であるかどうかを虹彩色画素検出ステップ２０６が決定する。このことは比較的高い赤色強度をもつ人の肌に比べて人の虹彩は低い赤色強度をもつということが観測されてきたために行なわれる。しかしながらこの実施例では虹彩色画素は単純な閾値法に基づいて肌色画素から分離されるのではない。その代わり各画素が虹彩である確率を決定しまた各画素が虹彩でない確率を決定するのに卵形肌色領域内の画素の赤色強度が用いられる。次に画素が虹彩である確率と画素が虹彩でない確率との関係が解析され、画素が虹彩画素であるかどうかが決定される。
【００１７】
所定の赤色強度をもつ画素が虹彩画素である確率は虹彩統計モデルに基づいて決定される。同様に所定の画素が虹彩でない確率を画素の赤色強度レベルに基づいて定めるのに非虹彩統計モデルが用いられる。これらのモデル間の関係は図４の例により示すように非線形である。図４は所定の画素が虹彩画素である条件つき確率４０２を特定の赤色強度の関数として表わす統計モデルの例と、所定の画素が非虹彩画素である条件つき確率４０４を個々の赤色強度Ｉの関数として表わす統計モデルの例とを示す図である。
【００１８】
確率解析は多くの形式を取り得る。例えばこれらの確率間の関係に基づいて確率と虹彩としてあるいは非虹彩として分類される画素とを種々の方法で組み合わせることができる。しかしながら好ましい実施例においては所定の赤色強度をもつ画素が虹彩に属する条件つき確率を生み出すためにベイズモデルとして知られる数学的構成が確率を組み合わせるのに用いられる。
【００１９】
この実施例においてはベイズモデルは以下のように適用される。
Ｐ（ｉｒｉｓ｜Ｉ）＝Ｐ（Ｉ｜ｉｒｉｓ）Ｐ（ｉｒｉｓ）／｛Ｐ（Ｉ｜ｉｒｉｓ）Ｐ（ｉｒｉｓ）＋Ｐ（Ｉ｜ｎｏｎｉｒｉｓ）Ｐ（ｎｏｎｉｒｉｓ）｝
ただしＰ（ｉｒｉｓ｜Ｉ）は所定の画素強度が虹彩に属する条件つき確率であり、Ｐ（Ｉ｜ｉｒｉｓ）は所定の虹彩画素が特定の強度Ｉをもつ条件つき確率であり、Ｐ（ｉｒｉｓ）は顔面卵形領域において虹彩が発生する確率であり、Ｐ（Ｉ｜ｎｏｎｉｒｉｓ）は所定の非虹彩画素が特定の強度Ｉをもつ条件つき確率であり、Ｐ（ｎｏｎｉｒｉｓ）は顔面卵形領域において非虹彩画素が発生する確率である。ベイズモデルはさらに顔面卵形領域において虹彩が発生する確率および顔面卵形領域において非虹彩が発生する確率を適用する。ベイズモデルに基づいた確率解析を用いて、所定の赤色強度をもつ画素が虹彩に属する条件つき確率が例えば０．０５より大きい場合には画素は虹彩として分類される。
【００２０】
上記の実施例においては卵形部上部３００と、卵形部下部３０２と、卵形部左部３０４と、卵形部右部３０６により定められる卵形肌色領域内の画素のみが検査される。検査すべき画素を卵形肌色領域内の画素に限定することにより検査すべき画素数を減らし、また虹彩でない画素が虹彩として分類される可能性を減少させる。検査すべき画素を肌色領域内の画素に限定することは本発明の他の実施例において説明するように同様の利点をもたらすことは言うまでもない。肌色領域を検出することは必須ではないこと、また本発明が画像内の各画素の赤色強度を測定しまた上記の確率解析に基づいて虹彩であるかどうかを決定することにより実施できることも言うまでもない。
【００２１】
図５は、画素が虹彩画素であるかどうかを決定するのに用いられる統計モデルと、画素が非虹彩画素であるかどうかを決定するのに用いられる統計モデルとを定めるために使用される虹彩色ベイズモデルの学習ステップ２２６を図解するフローチャートを示す。ステップ２２６の方法は本発明の虹彩検出方法が虹彩検出に用いられる前に実行される。図５に示すように顔前面の画像の大きな標本が収集され検査される。次に顔面領域内の全ての虹彩画素および非虹彩画素が手動で同定される（５０２および５０４）。次に所定の虹彩画素が特定の赤色強度Ｉをもつ条件つき確率Ｐ（Ｉ｜ｉｒｉｓ）が計算され、顔面卵形領域内に虹彩が発生する確率Ｐ（ｉｒｉｓ）５０６が計算される。次に所定の非虹彩画素が特定の赤色強度Ｉをもつ条件つき確率Ｐ（Ｉ｜ｎｏｎｉｒｉｓ）が計算され、最後に顔面卵形領域内に非虹彩画素が発生する確率Ｐ（ｎｏｎｉｒｉｓ）５０８が計算される。虹彩および非虹彩の計算された統計モデルはベイズモデルにおいて所定の画素強度が虹彩に属する条件つき確率Ｐ（ｉｒｉｓ｜Ｉ）５１０を生み出すのに用いられる。いくつかの実施例においてはベイズモデルは虹彩色画素検出ステップ２０６において用いられるルックアップテーブルを作り出すのに使用できる。
【００２２】
虹彩色画素検出ステップ２０６が画像内の虹彩画素の位置を同定した後に虹彩色画素がクラスタにされる。これは虹彩画素クラスタ化ステップ２０８により行なわれる。クラスタはクラスタ内のどの画素もクラスタ内の別の画素に対して所定の距離内にあるという特性をもつ有効虹彩色画素のセットである。所定の距離の一つの例はデジタル画像高さの３０分の１である。図２の虹彩画素クラスタ化ステップ２０８はこのクラスタの定義に基づいて虹彩色画素をクラスタにまとめる。しかしながら他の基準に基づいて画素がクラスタ化されてもよいことは言うまでもない。
【００２３】
いくつかの状況の下では虹彩色画素クラスタの定義が無効なクラスタを含む程に広い場合がある。そのような状況においては図２に示すようにクラスタを有効化するステップがステップ２０９として含まれる。例えばクラスタが多すぎる虹彩色画素を含んでいるために、あるいはクラスタが虹彩を表わしていないということをクラスタ内の画素の幾何学的関係が示唆しているためにクラスタが無効になる場合がある。例えばクラスタの高さの幅に対する比率が決定され、その比率が２より大きい場合、このクラスタは無効である。無効な虹彩画素クラスタはこれ以降考慮から除外される。従って以下の説明部分においては有効虹彩画素クラスタを単に虹彩画素クラスタと呼ぶ。
【００２４】
虹彩画素クラスタの数「ｎ」はステップ２１０において計数される。虹彩画素クラスタの数「ｎ」は画像内の目を検出する二つの経路の中から選択するために決定ステップ２１０により用いられる。虹彩画素クラスタの数「ｎ」が２より小さい場合には工程は後述のステップ２２４に分岐される。虹彩色画素の数「ｎ」が少なくとも２である場合には工程はクラスタ中心を算出するためにステップ２１２に分岐する。クラスタの中心はクラスタの質量中心として決定される。クラスタの中心位置は画像座標系の原点に関して計算される。この測定のために画像座標系の原点は画像境界の左上隅にある。
【００２５】
各虹彩画素クラスタの中心が定められた後に虹彩画素クラスタ間の幾何学的関係に基づいて幾何学的推論が適用され目の検出が試みられる。図６に示すように二つのクラスタ、すなわち左半分６０４に一つと右半分６０６に一つしか残っていない場合、かつ二つのクラスタ中心間の水平距離が卵形部右部３０６と卵形部左部３０４間の距離の０．４倍より小さい場合、かつ二つのクラスタ中心間の垂直距離が卵形部上部３００と卵形部下部３０２間の距離の１０分の１より小さい場合には二つのクラスタの中心位置は目の位置として扱われる。
【００２６】
この解析が非常に敏速に完了し得ることは言うまでもない。この解析が旨く行けば目の位置を検出するのにこれ以上の行為は不要である。従って検出結果の点検がステップ２１６において行なわれ、目の位置が検出されたかどうかが分かる。目の位置が検出されれば目の検出工程は停止する。目の位置が検出されなければ工程はステップ２１８へと進む。
【００２７】
ステップ２１８においては目の位置を画像探索するのに差分自乗和法が用いられる。一般的には差分自乗和法では、目のテンプレートと、そのテンプレートと同じ大きさの画像区画とにおいて対応する画素の強度値の差分自乗和を計算することになる。この方法においては画素区画の各画素はテンプレート内に対応する画素を持っている。対応する各画素の強度レベル間の差分が計算され、各差分が自乗される。セット内の各画素に対する自乗された差分のそれぞれの和が計算される。この差分自乗和は測定された各画素セットとテンプレート間の一致度の相対的尺度を提供する。目の位置の検出２２０がされない場合には工程は２２４へ進む。
【００２８】
本発明において適用されているように、差分自乗和は各半分領域にある各窓内の各画素に対して計算される。これらの値は比較され、最小の相対差分自乗和をもつクラスタが個々の半分領域に対する目の位置として選択されまた同定される。この工程は下記のやり方で画像の左半分と右半分の領域のクラスタにつき別々に実行される。
【００２９】
平均的な目のテンプレートと各画素区画間の最良の相対的相関を同定するのに差分自乗和を用いるものとして本発明を説明してきたが、平均二乗誤差法を含む他の方法もこの目的に使用できることは言うまでもない。
【００３０】
本発明の方法の一つの実施例においては卵形領域検出ステップ２０４において計算されたパラメータは差分自乗和を計算すべき画像内の位置数を減らすことにより差分自乗和の使用効率を向上するのに用いられる。図６に示すようにこの実施例においては卵形部中心列３１０は卵形領域を左半分領域６０４と右半分領域６０６とに分割するのに用いられる。やはり図６に示すように虹彩画素クラスタ６００と虹彩画素クラスタ６００の中心位置６０２は卵形部中心列３１０により分離された左半分領域６０４にも右半分領域６０６にも配置される。
【００３１】
ステップ２１８は差分自乗和法と、左半分領域６０４にある画素クラスタ６００とを用いて左目位置探索を行なう。ステップ２１８はまた差分自乗和法と右半分領域６０６にある虹彩画素クラスタ６００とを用いて右半分領域内の右目位置探索を行なう。
【００３２】
図７および８を参照して半分領域内のクラスタから一つのクラスタを選択する工程を説明する。目の位置探索工程は個々の半分領域内の各クラスタ８０２の中心に対して窓８００の中心を合わせる工程７０により開始される。窓８００に対するデフォルトの大きさは画像８０４の大きさの２０分の１である。次に差分自乗和計算７２の演算は各窓８００内の各画素について実行される。各窓８００内の最小差分自乗和をもつ画素位置が記録７６される。半分領域７８の全ての窓内の全ての画素に対して差分自乗和が計算されたら最小差分自乗和をもつ画素位置が記録７９される。これは半分領域に対する目の推定位置である。この工程は残りの半分領域に対して繰り返される。この工程により二つの目が検出されたらこの方法は終了する。
【００３３】
ステップ２１８の差分自乗和法が卵形肌色抽出を用いなくても実行できることは言うまでもない。そのような実施例においては肌色領域は左半分領域と右半分領域とに分割することができる。従って虹彩画素クラスタが左半分領域と右半分領域とに分割することができる。次に差分自乗和法が上記のように適用できる。
【００３４】
しかしながらステップ２１８の実行後に目が検出２２０されなかったら、あるいはステップ２０９において二つより少ない虹彩画素クラスタが検出されたら目の検出工程はステップ２２４に進む。ステップ２２４はステップ２１８と同様のやり方で動作する。しかしながら図９に示すように画像９００全体は分割され、それぞれ左半分領域９０８と右半分領域９１０内の画像９０４の各画素に対して差分自乗和が計算される。
【００３５】
画像区画と目テンプレート間の相対的相関を決定するのに差分自乗和法の代わりに他の方法が使用できることは言うまでもない。一例は平均二乗誤差法である。この方法は周知技術である。
【００３６】
本発明が画像内の目を検出するのに三つの別個のステップの方法を提供することは言うまでもない。すなわち幾何学的推論２１２および２１４と、虹彩画素クラスタを用いた差分自乗和２１８と、画像画素を用いた差分自乗和２２４である。これらの方法の内で幾何学的推論が最も簡単で最も効率が良いということも言うまでもない。これは幾何学的推論が最も効率の良い処理方法を提供するからであり、幾何学的推論が虹彩画素クラスタにのみ適用されるからである。これらのクラスタは画像内の画素の数に比較した場合比較的数が少ない。
【００３７】
それとは対照的に、ステップ２２４において必要とされるような画像内の各画素に対して差分自乗和法を適用することは演算上は重いステップであり、画像内の一つの画素が目の位置であるかどうかを決定するために多くの処理ステップと計算を要する。さらにステップ２２４の方法は画像内の全ての非虹彩画素に適用されねばならない。現行の共通フォーマットにおいてはデジタル画像は２．１メガピクセルのカメラにより取得されている。さらに１６メガピクセルのカメラもデモされている。従って画像内の目の位置を検出するのにステップ２２４を用いれば一つの画像を処理するのに文字通り数百万の演算を要するであろう。これは時間集約的かつコンピュータ集約的工程である。
【００３８】
中間的取組みとして、ステップ２１８は演算上重い差分自乗和法を適用するが、虹彩画素クラスタに関して定められた窓内の画素にこの方法の適用を限定している。これは差分自乗和法を適用すべき画素数を実質的に減らし、従って差分自乗和法２２０の適用がステップ２２４の差分自乗和法よりもよりコンピュータ集約的でないようにする。
【００３９】
本発明の方法が画像内の目を検出する最も効率のよい方法を選択するためにこれらの目の検出方法を自動的に選択し、また虹彩画素クラスタの数を用いるやり方でこれらの方法を組み合わせる方法を提供することも言うまでもない。
【００４０】
本発明の主題はデジタル画像理解技術に関し、これはデジタル画像をデジタル処理して認識し、それにより人が理解し得る物体あるいは属性あるいは条件に有益な意味を与え、得られた結果を更なるデジタル画像処理に利用する技術を意味すると理解される。
【００４１】
このように本方法およびコンピュータ・プログラム製品は本発明の目的に叶うものである。
【００４２】
いくつかの好ましい実施例を特に参照して発明を詳細に説明したが、本発明の精神及び範囲内で種々の変更および変形を成し得るということは言うまでもない。
【図面の簡単な説明】
【図１】本発明の実施に有用な画像処理システムの原理図である。
【図２】本発明の目の検出方法を表わすフローチャートである。
【図３】いくつかの幾何学的パラメータと画像内の卵形肌色領域間の関係を表す図である。
【図４】特定の赤色強度の関数として明示され所定の画素が虹彩画素である条件つき確率を表わし、また所定の画素が非虹彩画素である条件つき確率を特定の赤色強度Ｉの関数として表わす図である。
【図５】所定の画素が虹彩画素である条件つき確率を特定の赤色強度レベルの関数として表わす統計モデルと、所定の画素が非虹彩画素である条件つき確率を特定の赤色強度レベルの関数として表わす統計モデルとを作り出す工程を表わすフローチャートである。
【図６】虹彩色画素クラスタを表わす図である。
【図７】虹彩画素クラスタを用いる目の位置検出に差分自乗和法を適用する工程を表わすフローチャートである。
【図８】虹彩画素クラスタの中心に中心合わせされた目のテンプレートと探索窓を表わす図である。
【図９】画素を用いる目の位置検出に差分自乗和法を適用する工程において用いられる目のテンプレートと画像を表す図である。
【符号の説明】
１０デジタル画像源、１２画像処理装置、１４ディスプレー、１６キーボード、１７コンピュータで読み取り可能な記憶媒体、１８マウス、１９出力装置、３００卵形部上部、３０２卵形部下部、３０４卵形部左部、３０６卵形部右部、３０８卵形部中心行、３１０卵形部中心列、４０２画素が虹彩である確率の統計モデル、４０４画素が虹彩でない確率の統計モデル、６００クラスタ中心、６０２虹彩色画素、６０４左半分領域、６０６右半分領域、８００窓、８０２窓内を移動する平均的な目のテンプレート、８０４画像、８０６平均的な目のテンプレート、９０２画像内を移動する平均的な目のテンプレート、９０４画像、９０６平均的な目のテンプレート、９０８画像の左半分、９１０画像の右半分。

Claims

デジタル画像内の人の目を検出するデジタル画像処理方法であって、
虹彩画素を検出するステップと、
虹彩画素をクラスタ化するステップと、
虹彩画素クラスタの数を決定するステップと、
画像内の目の位置を同定するために、ｉ）虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用する方法であって、各虹彩画素クラスタの中心を求めること、および虹彩画素クラスタの中心間の幾何学的関係に基づいて一対の目を検出することを含む方法、ｉｉ）虹彩画素クラスタに基づいて目の位置を検出するために相対的相関を適用する方法であって、画像において各虹彩画素クラスタの中心を取り囲む窓を定めること、虹彩画素クラスタを左半分の虹彩画素クラスタと右半分の虹彩画素クラスタとに分けること、平均的な目のテンプレートと左半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法、ｉｉｉ）画像内の画素から目の位置を検出するために相対的相関を適用する方法であって、画像を左半分領域と右半分領域とに分けること、平均的な目のテンプレートと左半分領域内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分領域内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法の少なくとも一つを選択するステップとを含み、
方法ｉｉｉ）は、２つ未満の虹彩画素クラスタが検出された場合に選択され、方法ｉ）は、少なくとも２つの虹彩画素クラスタが検出された場合に選択され、方法ｉｉ）は、方法ｉ）により目の位置が検出されない場合の後に選択されることを特徴とするデジタル画像処理方法。
人の目を検出するデジタル画像処理方法であって、
虹彩画素を検出するステップと、
虹彩画素をクラスタ化するステップと、
虹彩画素クラスタの数を決定するステップと、
虹彩画素クラスタの数に基づいて目の位置を検出する方法を選択するステップと、
目の位置を検出するために前記選択された方法を使用するステップとを含み、
前記目の位置を検出する方法には、
ｉ）虹彩画素クラスタを用いて目の位置を検出するために幾何学的推論を適用する方法であって、各虹彩画素クラスタの中心を求めること、および虹彩画素クラスタの中心間の幾何学的関係に基づいて一対の目を検出することを含む方法と、
ｉｉ）虹彩画素クラスタに基づいて目の位置を検出するために相対的相関を適用する方法であって、画像において各虹彩画素クラスタの中心を取り囲む窓を定めること、虹彩画素クラスタを左半分の虹彩画素クラスタと右半分の虹彩画素クラスタとに分けること、平均的な目のテンプレートと左半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分の虹彩画素クラスタを取り囲む各窓内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法と、
ｉｉｉ）画像内の画素から目の位置を検出するために相対的相関を適用する方法であって、画像を左半分領域と右半分領域とに分けること、平均的な目のテンプレートと左半分領域内の各画像区画との間の相対的相関に基づいて左目位置を探索すること、および平均的な目のテンプレートと右半分領域内の各画像区画との間の相対的相関に基づいて右目位置を探索することを含む方法と、
が含まれ、
方法ｉｉｉ）は、２つ未満の虹彩画素クラスタが検出された場合に選択され、方法ｉ）は、少なくとも２つの虹彩画素クラスタが検出された場合に選択され、方法ｉｉ）は、方法ｉ）により目の位置が検出されない場合の後に選択される、
デジタル画像処理方法。