JP2008520039A - 人間の画像における虹彩及び瞳孔の検出方法 - Google Patents

Abstract

目の検出方法において、複数の候補目を画像中に探す。所定の特徴及びそれぞれの目に対する所定の関連を有する注目画素を求める。各目に関連する注目画素をグループ化する。前記グループのそれぞれについてパラメトリック境界を当てはめ、複数の検出された目の特性を定める。この境界は、各グループに合う所定の均一形状及びサイズを有する。各境界と、各目に関連する注目画素との幾何学的関係について、検出された目の特性のそれぞれにスコアを付け、目の特性スコアを提供する。

Description

本発明は、画像処理に関し、より詳細には、特に赤目現象のある人間の画像において赤目欠陥を補正するための、人間の虹彩及び瞳孔の検出に関する。

多くのデジタル画像処理手順、例えば、デジタル写真における人の識別や赤目補正処理などにおいて、デジタル画像中の人間の目が検出される。これらの処理の多くでは、検出した人の目の位置はおおよそである。これは目的によっては適切であるが、悪影響を及ぼす場合もある。

赤目の補正は、目の位置を正確に判断することで改善できる。ここで、「赤目」とは、フラッシュ照明の赤い光が、人間である被写体の目の網膜で反射し、瞳孔を通過して再びカメラに戻るときに起こる。赤目は、一般に、フラッシュ装置が撮影レンズの近くに位置するカメラにおける問題である。デジタル画像において、「赤目欠陥（redeye defect）」は、赤目の赤色特性を示す1つ以上の画素の集合である。「赤目欠陥ペア（redeye defect pair）」は、デジタル画像において、相対的な大きさ及び位置などの特性にもとづき、同一人物の右目及び左目からの光を表現していると分類できる画素集合のペアをいう。

赤目補正のために多くのアルゴリズムが提案されており、その目標は、瞳孔が自然に見える、改良された画像を生成することである。これらのアルゴリズムでは、色修正の必要がある画像画素を、修正された画素に対する適当な色に沿って決定する。

赤目補正の処置には、赤目を手動で検出するものもある。すなわち、オペレータが手動でカーソルを移動することにより、デジタル画像中の赤目部分をコンピュータプログラムに示す。この方法は効果的ではあるが、労力を要するとともに遅い。

赤目画素の自動検出はより高速処理にはなりうるが、赤目欠陥の境界が適切に定まらないことが多い。この問題は、ユーザが単一の点を設定することにより目の位置を示す、半自動の検出方法でも同様である。赤目欠陥画素を判断する際、アルゴリズムは、赤目と判断すべき画素を見落としたり、実際には赤目ではない画素を含んでしまったりという誤りをしやすい。このような識別の誤りが欠陥の補正と相俟って、不快なアーチファクトを生成する可能性がある。すなわち、一部の赤目画素が正確に識別されて色修正されているにもかかわらず、他の赤目画素の識別及び色修正がなされていないと、アンダーコレクションが起こる。また、赤目でない画素が誤って赤目と判断されて、色修正されると、オーバーコレクションが起こる。この結果、通常は赤目画素に対してなされる色補正によって、人の顔の瞳孔でない部分、例えば眼瞼などが修正され、結果として極めて不快なアーチファクトが発生する。

赤目画素の補正においては、修正された画素がしばしばオリジナル画像の近隣画素と混和されることで、不自然な粗いエッジを低減する。例えば、米国特許出願公報２００３／０００７６８７Ａ１号では、混和フィルタ（blending filter）が使用される。もし、このような混和フィルタが人の画像すべてに対して均一の大きさであった場合、赤目欠陥のある一部の（一般には相対的に小さい）人の顔は、過度にスムーズに見え、不快なほどぼやける場合がある。一方、相対的に大きい人の顔には、粗いエッジが残るかもしれない。このような問題の解決法が、上記米国特許出願公報２００３／０００７６８７Ａ１号に開示されるように、オペレータによる混和のレベルの制御である。この方法は効果的であるが、またしても労力を要し、時間がかかる。

ユイル（Yuille）他による「変形自在テンプレートを用いた顔からの特徴抽出（Feature Extraction from Faces Using Deformable Templates” ）」（Int. Journal of Comp.Vis., Vol.8, Iss.2, 1992, pp.99-111）において、著者は、目及び虹彩／強膜の境界検出のための、テンプレートマッチングによるエネルギの最小化の使用方法を記載している。

カワグチ他による「ハフ変換と分離度フィルタによる人物顔からの両目の検出（Detection of the Eyes from Human Faces by Hough Transform and Separability Filter”）」（ICIP 2000 Proceedings, pp. 49-52）において、著者は、人の顔の単一クローズアップを含む画像中の虹彩と強膜の境界を検出する方法を記載している。

米国特許第６，２５２，９７６号および第６，２９２，５７４号には、赤目欠陥の検出方法が開示されている。これらの方法では、デジタル画像中の肌の色をした領域に赤目欠陥の色特性を持つ画素を探し、目の位置を決定する。

米国特許第６，１３４，３３９号には、赤目欠陥の画素座標を分析して間隔（spacing）及び空間的構造を求め、もっともらしい目の位置を決定する方法が開示されている。ここでは、テンプレートマッチングが使用される。

しかしながら、上記のアプローチにおいては、その適用範囲が限定される、あるいは処理資源に対する要求が大きくなる傾向がある。

形状を求めるためのアルゴリズムが知られている。米国特許第３，０６９，６５４号にはハフ変換方法が記載されている。キンメ他（Kimme et al）による「アキュムレータアレイによる円の求め方」（”Finding Circles by an Array of Accumulators”）（ Communications of the ACM, Vol. 18, No.2, Feb. 1975, pp.120-122）には、エッジ強度（edge magnitudes）及び方向のアレイから円を決定する効果的な方法が記載されている。ＲＡＮＳＡＣフィッティングルーティン（RANSAC fitting routine）が、ハートリー（Hartley）とジッセルマン（Zisserman）による”Multiple View Geometry 2000, pp101-107に記載されている。

このように、虹彩の境界を相対的に効率良くかつ適度のコンピュータ資源で検出できる目の検出方法及びシステムを提供することが望まれる。さらには、赤目欠陥の利用が可能ではあるが必須ではない、目の検出方法及びシステムを提供するのが望ましい。

米国特許出願公報２００３／０００７６８７号明細書 米国特許第６，２５２，９７６号明細書 米国特許第６，２９２，５７４号明細書 米国特許第６，１３４，３３９号明細書

本発明は、請求項によって定められる。本発明は、より広い態様において、目の検出方法を提供する。すなわち、複数の候補目をデジタル画像内において探す。所定の特性及び各目に対する所定の関連を有する注目画素（pixel of interest）を求める。各目に関連する注目画素をグループ化する。これらのグループそれぞれに対してパラメトリック境界（parametric boundary）を当てはめ、複数の検出された目の特性を定義する。この境界は、所定の均一形状及びそれぞれのグループに合ったサイズを有する。検出された目の特性のそれぞれに、各境界と、各目に関連する注目画素との幾何学的関係に関してスコアをつけることにより、目の特性のスコアを提供する。

本発明は、虹彩の境界を、相対的に効率よく、かつ適度なコンピュータ資源で検出できる、改良された目の検出方法及びシステムを提供する、という効果を有する。また、本発明は、赤目欠陥の情報の使用が可能であるが必須ではない、改良された目の検出方法及びシステムと提供するというさらなる効果を有する。

本発明の実施形態に係る以下の説明を添付の図面に関連して参照することにより、本発明の上記のまたはその他の特性及び目的、及びそれらの達成方法がより明らかになるとともに、本発明自体がよりよく理解されるであろう。

以下に説明する目の検出方法においては、デジタル画像中で目の特性が検出される。ここで、目の特性とは、虹彩と強膜の境界または瞳孔と虹彩の境界、またはその両者である。便宜上、以下の説明は、主に虹彩と強膜の境界の検出に関する。ただし、瞳孔と虹彩の境界も類似する方法で検出でき、両方の境界を同じ目に対して独立的に検出することもできるし、あるいは、検出された第１の境界を使用して、２つの境界のうち第２の境界の予想位置を限定することもできる。

以下の説明では、本発明のいくつかの実施形態をソフトウェアプログラムとして説明する。ただし、当業者であれば、このようなソフトウェアの等価物がハードウェアにおいても構成できることが容易にわかるであろう。画像操作のアルゴリズム及びシステムは周知であるので、本願における説明は、本発明による方法の一部を形成する、あるいは本発明による方法とより直接的に協働するアルゴリズム及びシステムに特に向けられている。そのようなアルゴリズム及びシステムの他の態様、及びそれらに関連する画像信号を生成あるいは処理するためのハードウェア／ソフトウェアは、ここに特に示され記載されないが、当業界で周知のこのようなシステム、アルゴリズム、コンポーネント及び要素から選択できる。以下の明細書に記載される説明により、そのソフトウェアの実施のすべてが慣用的であり、そのような技術分野では通常の技術である。

本発明は、コンピュータハードウェア及びコンピュータ処理が可能な装置において実施できる。例えば、本発明の方法を、デジタルカメラ、デジタルプリンタ、及びパーソナルコンピュータで実行できる。図４には、本発明を実施するためのコンピュータシステム１１０が示されている。ここで、コンピュータシステム１１０が、好ましい実施形態を説明する目的で示されているが、本発明は図示されるコンピュータシステム１１０に限定されるものではなく、デジタルカメラ、ホームコンピュータ、キオスク、小売りまたは卸売りフォトフィニッシング、またはデジタル画像を処理する他の任意のシステムに見られるような任意の電子処理システムについて使用できる。コンピュータシステム１１０は、ソフトウェアプログラムを受信して処理し、他の処理機能を実行するマイクロプロセッサベース装置（デジタル画像処理装置とも呼ぶ）１１２と含む。ディスプレイ１１４がマイクロプロセッサベース装置１１２に電気的に接続され、ソフトウェアに関連するユーザ関連情報を、例えば、グラフィックユーザインターフェースによって表示する。マイクロプロセッサベース装置１１２には、キーボード１１６も接続され、ユーザがソフトウェアに対して情報を入力できるようにする。入力のためのキーボード１１６の使用に代えて、マウス１１８を使用し、当業界で周知のように、ディスプレイ１１４上のセレクタ１２０を移動させて、セレクタ１２０が置かれた項目を選択してもよい。

ソフトウェアプログラムを一般的に含むコンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ ）１２４が、ソフトウェアプログラム及び他の情報をマイクロプロセッサベース装置１１２に入力する手段を提供するために、マイクロプロセッサベース装置１１２に挿入される。さらに、フロッピディスク１２６にもソフトウェアプログラムを含んでもよく、これがマイクロプロセッサベース装置１１２に挿入されて、ソフトウェアプログラムが入力される。あるいは、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）１２４またはフロップディスク１２６を、マイクロプロセッサベース装置１１２に接続された、外付けのディスクドライブ装置１２２に挿入してもよい。さらに、マイクロプロセッサベース装置１１２を、当業界で周知のようにプログラムして、内部にソフトウェアプログラムを記憶してもよい。また、マイクロプロセッサベース装置１１２は、外部ネットワーク、例えばローカルエリアネットワークやインターネットなどへのネットワーク接続１２７、例えば電話線などを有してもよい。プリンタ１２８をマイクロプロセッサベース装置１１２に接続して、コンピュータシステム１１０からの出力のハードコピーをプリントしてもよい。

パーソナルコンピュータカード（ＰＣカード）１３０を介してディスプレイ１１４に画像を表示してもよい。ＰＣカード１３０は、例えば、以前から知られるＰＣＭＣＩＡカード（パーソナルコンピュータメモリカード国際協会の規格にもとづく）などであり、カード１３０に電子的に実現されたデジタル画像を含む。このＰＣカード１３０は、最終的にはマイクロプロセッサベース装置１１２に挿入され、ディスプレイ１１４において画像を表示できる。また、コンパクトディスク１２４、フロッピディスク１２６またはネットワーク接続１２７を介して画像を入力してもよい。ＰＣカード１３０、フロッピディスク１２６またはコンパクトディスク１２４に記憶された、あるいはネットワーク接続１２７を介して入力されたいずれの画像も、種々のソース、例えばデジタルカメラ（図示せず）またはスキャナ（図示せず）から得られたものでよい。また、画像は、マイクロプロセッサベース装置１１２に接続されたカメラドッキングポート１３６から直接入力してもよいし、または、デジタルカメラ１３４からケーブル接続１３８を介してマイクロプロセッサベース装置１１２に直接入力しても、または無線接続１４０を介してマイクロプロセッサベース装置１１２に入力してもよい。

出力装置は、変換処理を行った最終画像を提供する。出力装置は、プリンタまたは紙または他のハードコピーの最終画像を提供する出力装置とすることができる。また、出力装置は、最終画像をデジタルファイルとして提供する出力装置でもよい。さらに、出力装置は、出力の組み合わせ、例えばプリントされた画像と、ＣＤやＤＶＤなどのメモリ装置のデジタルファイルとの組み合わせを含んでもよい。

本発明は、デジタル画像を生成する複数の撮像装置とともに使用できる。例えば、図２には、撮像装置が、シーンをカラーネガティブまたは反転フィルムに撮像する従来の写真フィルムカメラ及び現像された画像をスキャンしてデジタル画像を生成するフィルムスキャナ装置である、デジタルフォトフィニッシングシステムが示される。撮像装置は、電子イメージャ、例えば電荷結合素子またはＣＭＯＳイメージャなどを有する電子撮像装置（図示せず）でもよい。電子撮像装置は、電子イメージャから信号を受信して増幅し、デジタル形式に変換し、その画像信号をマイクロプロセッサベース装置１１２に送信する。

マイクロプロセッサ装置１１２は、デジタル画像を処理し、見た目の良い画像を、目的の出力装置または出力媒体上に生成する手段を提供する。本発明は、種々の出力装置とともに使用できる。これらの出力装置には、デジタル写真プリンタ及びソフトコピーディスプレイが含まれるが、これに限定されるものではない。マイクロプロセッサベース装置１１２を用いて、見た目の良い画像が画像出力装置により生成されるように、デジタル画像を処理し、デジタル画像の全体的な輝度、トーンスケール、画像構成などに対する調整を行うことができる。当業者であれば、本発明が上述の画像処理機能のみに限定されないことがわかるであろう。

デジタル画像は、1つ以上のデジタル画像チャネルまたはカラーコンポーネントを含む。各デジタル画像チャネルは、２次元の画素アレイである。各画素値は、画素の物理領域に対応して撮像装置により受光される光の量に関連する。カラーイメージングの場合、デジタル画像は、赤、緑、青のデジタル画像チャネルで構成されることが多い。動画は、連続するデジタル画像であると考えることができる。当業者であれば、本発明が上述の用途のいずれかのデジタル画像チャネルに適用できるが、それだけに限定されないことがわかるであろう。なお、ここでは、デジタル画像チャネルを、行と列とに配列された画素値の２次元アレイとして記載したが、当業者であれば、本発明が非直線的なアレイにも適用でき、同様の効果を得られることがわかるであろう。また、当業者であれば、以下に記載する、オリジナルの画素値を処理された画素値に置き換えるデジタル画像処理ステップが、同一の処理ステップを、オリジナルの画素値を保持しつつ、処理された画素値によって新しいデジタル画像を生成する処理ステップと機能的に等価であることがわかるであろう。

図４に示される汎用制御コンピュータは、コンピュータ読取可能な記憶媒体にプログラムを記憶したコンピュータプログラム製品として本発明を記憶することができる。コンピュータ読取可能な記憶媒体には、例えば、以下を含むことができる。磁気ディスク（フロッピディスクなど）または磁気テープなどの磁気記憶媒体、光ディスク、光学テープ、器械読取可能なバーコードなどの光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）または読取専用メモリ（ＲＯＭ）などの固体電子記憶装置。さらに、本発明の関連するコンピュータプログラム実施方法（implementation）を、オフラインメモリ装置によって指示されるコンピュータプログラムを記憶するために使用される他の任意の物理装置または媒体に記憶してもよい。本発明を説明する前に、本発明が任意の周知のコンピュータシステム、例えばパーソナルコンピュータにおいて利用できることに留意すれば本発明の理解が容易になる。

本発明は、ソフトウェア及び／またはハードウェアの組み合わせにおいて実施可能であり、同じ物理的位置において物理的に接続及び／または配置された装置に限定されない。図４に例示される装置の１つ以上を遠隔配置し、ネットワークを介して接続することができる。１つ以上の装置は、例えば、無線周波数リンクにより、直接またはネットワークを介して無線接続することができる。

本発明は、種々のユーザコンテクスト及び環境において使用できる。例示的なコンテクスト及び環境には、以下を含むが、これらに限定されない。すなわち、卸売用デジタルフォトフィニッシング（フィルム撮影、デジタル処理、プリントアウトなどの例示的処理ステップまたはステージを含む）、小売用デジタルフォトフィニッシング（フィルム撮影、デジタル処理、プリントアウト）、ホームプリンティング（ホームスキャンフィルムまたはデジタル画像、デジタル処理、プリントアウト）、デスクトップソフトウェア（デジタルプリントにアルゴリズムを適用し、それらを改良する、または単にそれらを変える、ソフトウェア）、デジタルフルフィルメント（媒体からまたはウェブでのデジタル画像入力、デジタル処理、画像出力（媒体上にデジタル形式で、ウェブ上にデジタル形式で、またはハードコピープリントへの印刷））、キオスク（デジタル入力またはスキャン入力、デジタル処理、デジタルまたはハードコピー出力）モバイル装置（例えば、処理装置として使用可能なＰＤＡまたはセル電話、ディスプレイ装置、または処理指示を供給する装置）及びワールドワイドウェブを介して提供されるサービスを含む。

いずれの場合にも、本発明は独立していてもよく、またはより大きいシステムソリューションのコンポーネントでもよい。さらに、ヒューマンインターフェース、例えばスキャニングまたは入力、デジタル処理、ユーザに対する表示（必要であれば）、ユーザリクエストまたは処理指示の入力（必要であれば）、出力のそれぞれを同一または異なる装置または物理的位置において行うことができ、装置間または位置間における通信は、公共または私設のネットワーク接続を介して、または媒体ベースの通信により行うことができる。本発明の前記開示に一貫し、本発明の方法は、完全に自動化することができ、またはユーザ入力を有してもよく（完全にまたは一部手動化する）、結果を許可／拒絶するためにユーザまたはオペレータが閲覧してもよく、または、メタデータにより補助してもよい（メタデータは、ユーザが供給しても、測定装置により供給しても（例えばカメラにおいて）、あるいはアルゴリズムにより決定してもよい）。さらに、アルゴリズムが、種々のワークフローユーザインターフェ−ススキームとのインターフェースを有してもよい。

本発明は、ここに記載される実施形態の組み合わせを含む。「ある特定の実施形態」などという場合、本発明の少なくとも１実施形態に存在する特性を意味する。「ある実施形態」または「複数の特定実施形態」などという場合は、必ずしも同じ実施形態を意味するわけではない。ただし、これらの実施形態は、特に指摘がない限り、または当業者には容易にわかるように、互いに相容れないものではない。

図１から３を参照すると、本発明の方法において、１対以上の候補目をデジタル画像中において探す（locate）（２００）。これらの目のそれぞれに関連して注目画素を検出する（２０２）。各目に対する注目画素を複数の異なるグループに分類する(２０４)。これらのグループのそれぞれに、パラメリック境界（parametric border）を当てはめる（２０６）。各境界と関連する注目画素との幾何学的関係に関し、各境界にスコアをつける（２０８）。もっとも高いスコアのパラメリック境界を、検出された目の特性を最も近く表現しているとして選択する。

検出された目の特性は、後の手順において使用できる。例えば、虹彩と強膜の境界位置を利用して、これまでは赤目欠陥の一部であると識別されていた、境界外部の画素を識別することができる。これにより、これらの外部画素を、非赤目画素として扱うことが可能になる。

ここで使用される「候補目（candidate eye）」とは、人間の目を表現していると識別される、デジタル画像中の１つ以上の画素の集合である。この識別は、例えば、ユーザがカーソルを各目までドラッグしてマウスボタンをクリックすることにより、手動で行うことができる。あるいは、デジタル画像中において目を自動的に探すことができる。画像中で目を識別するための種々のアルゴリズムが知られている。多くのアルゴリズムでは、赤目欠陥または赤目欠陥ペアの位置を識別することによって候補目を検出する。これらのアルゴリズムの１つにより定められた候補目は、使用されるアルゴリズムによって、赤目欠陥画素に限定することもできるし、あるいは、赤目欠陥画素と他の画素の両者を含むこともできる。

注目画素は、目の部分（parts）を表現している可能性がある画素である。各画素は、所定の特徴及び各候補目に対する所定の関連を有する。所定の特徴とは、所定範囲の値を有するプロパティである。このプロパティは、デジタル画像における色（色相）とテクスチャの一方または両方に関連する。

所定の関連は、閲覧中の画像の画像内容に予め設けられた制限にもとづくことができる。例えば、注目画素は、画像スケール及び撮影された人物のポーズに関する制限を受ける、画像中の固定位置に限定することができる。所定の関連は、オペレータの介入により決定された幾何学領域内への包含にもとづくこともできる。後者の例として、所定の関連が、オペレータにより引かれた境界内に含まれることにもとづく。これらのアプローチは実行可能であるが、限定的になりうる。

あるいは、所定の関連は、特定の画像内容、好ましくは各候補目に対して自動的に決定された幾何学的関係にもとづく局所的近隣部（local neighborhood）内の位置にすることができる。所定の関連の簡単な例は、各赤目欠陥内の全画素である。このアプローチは簡単ではあるが、場合によっては含まれる画素が少なすぎる。候補目が赤目欠陥であるか、あるいは相対的な大きさが赤目欠陥と同等であれば、局所的近隣部は、各候補目を含み、各候補目より大きいことが好ましい。

図２に示される特定実施形態においては、候補目／赤目欠陥の位置を探し（２１０）、各赤目欠陥に対して局所的近隣部を識別する（２１２）。各局所的近隣部中の注目画素を確認し（２１４）、円をあてはめ（２１６）、スコアをつける（２１８）。

ここで議論する特定の実施形態においては、各候補目に対する所定の関連とは、目の特定ペア（同一人物の右目と左目）に対する局所的近隣部内に含まれることである。特定の実施形態においては、局所的近隣部は、各赤目欠陥を含み、各赤目欠陥より大きい。実施形態によっては、局所的近隣部の大きさは、候補目の各ペアまたは赤目欠陥の各ペアを構成する要素（member）の隔たり（separation）の関数である。

所定の特徴とは、所定の関連を制御する特性と同一であるか、または密接に関連することができる。この例が、赤目を表す画素の所定の特徴である。これらの画素の集合は、所定の関連を提供することもできる。このアプローチは実際的ではあるが、所定の特徴が所定の関連を制御する特性と無関係かあるいはより関連の小さい場合に比べ、エラーのリスクが高い。後者のアプローチでは、本発明の方法には、別の付加的なステップとして、所定の特徴を有する画素を識別するステップが含まれる。これは、局所的近隣部のそれぞれに対して所定のプロパティ値のマップを生成し、所定範囲の値を有する各マップ上の位置を識別することにより実現できる。現行の好ましいプロパティは、カラー値、カラー近接値（color adjacency value）、エッジ値、及びこれらのうち１つ以上の組み合わせである。カラー値は、複数のカラーチャネルまたは単一のカラーチャネルから求めることができる。カラー近接値は、近接するまたはほぼ近接する画素のカラー値を用いて算出できる。例えば、各画素が３つのカラーチャネル（赤、緑、青）を有する２つの隣接画素に対する１つのカラー近接値は、カラーチャネル値を３次元ベクトルとして考慮することにより算出される。すなわち、カラー近接値は、３次元空間における２つの隣接画素値のあいだのユークリッド距離として算出される。カラー近接値についてのさらなる議論が、アイパーク他（I.Park, et al.）による「ハイブリッドグラフ表示を用いたカラー画像検出」（”Color Image Retrieval Using Hybrid Graph Representation”, Image and Vision Computing , Elsevier, 1999, pages 465-474）に開示されている。エッジ値またはエッジマップは、周知のＣａｎｎｙエッジフィルタ（Canny edge detetor）、Ｐｒｅｗｉｔｔ（プレウィット）演算子の適用、またはソーベルの演算子（Sobel operator）の適用など、周知のデジタル画像処理技術を用いて算出できる。以下に詳細に説明する特定実施形態においては、各局所的近隣部のエッジマップが生成され、所定のしきい値より大きさが大きいエッジを有するエッジマップ上の位置において注目画素が識別される。

所定の特徴及び各目に対して所定の関連を有する画素がグループ化され、各グループにパラメリック境界が当てはめられる。パラメリック境界は、目の特性を表す形状を有し、多項式（polynomial）、例えば放物線、楕円、または円の形状の境界により定めることができる。

各候補目または候補目のペアに対するパラメトリック境界は、各目または目のペアの大きさに相対して拡大縮小ができる。特定の実施形態においては、局所的近隣部の大きさが候補目の各ペアの大きさ（例えば、そのペアの２つの候補目の隔たり（separation））の関数であり、パラメトリック境界の大きさの範囲は、それぞれ、各局所的近隣部の大きさに相関している。

各目に関連するグループの数は相対的に大きく、各グループにおける注目画素の数は小さい。計算をより簡単にするため、各グループにおける注目画素の数が均一であるのが好ましい。特定の実施形態においては、各グループは、各パラメトリック境界の幾何学的形状を定めるのに十分な最小限の画素数を有する。例えば、パラメトリック境界が円である場合、１つのグループにおいて最小限必要な注目画素の数は３つであり、方向に関する情報があれば、２つである。（それぞれのエッジ方向情報を用いて２つの画素に円を当てはめる例を以下に示す。）

次に、各境界にスコアをつける。スコアリングは、各境界からの注目画素の隔たり（separations）の関数である。局所的近隣部が決定している実施形態においては、境界は、各局所的近隣部の十分内側に配置することができ、または、そこからある程度外側に広がることができる。特定の目についての注目画素は、各局所的近隣部内に配置される。特定の実施形態においては、このスコアリングは、各境界の所定距離内での注目画素のカウント（総数）である。

各注目画素による貢献を重みづけする、または調整することができる。特定の実施形態においては、撮影された目の形状における他の顔特性、例えば、瞼の影響にもとづき、目の側部からの画素（「横方向画素」）は、上部または底部からの画素（「縦方向画素」）とは異なった重み付けをされる。同様に、境界を越える画素は、その境界内部の画素とは異なる方法で調整できる。

スコアリングにより、特定の目に対する、適用可能な円形または他のパラメトリック境界が決定する。数値を選択して、最高または最低スコアを最もふさわしいパラメトリック境界に関連づけるので、「最高ランク」などの用語が最適な候補者を決定するために用いられる。

図３に示される実施形態においては、赤目欠陥のペアを検出し（２２０）、局所的近隣部を識別する（２１２）。各局所的近隣部に対してエッジマップを生成し（２２２）、このエッジマップからエッジ画素を識別して（２２４）グループ分けする（２２６）。各グループに円をあてはめ（２２８）、各円から所定距離内にある注目画素をカウントし（２３０）、重み付けする（２３２）。

図４から図５を参照し、デジタル画像処理装置１１２は、本発明の方法を実行するようプログラムされている。オリジナルデジタル画像３０２は、種々の異なるカラー表示で、撮像装置（図４に示される）から受信できる。ただし、本発明の最も一般的な実施では、赤、緑、及び青のデジタル画像チャネルを有するカラーデジタル画像として、オリジナルデジタル画像を受信する。好ましくは、オリジナルデジタル画像の画素値は、ビデオ適用可能な（video-ready）コード値、すなわちｓＲＧＢ色空間に関連する。好ましくは、各色チャネルの各画素値は、０から２５５の８ビット値として表される。本発明は、他の符号化でも効果的に動作が可能である。ただし、等式の定数及び関数の形状に対する変更が必要な場合もある。

デジタル画像３０２は、赤目検出及び補正のため、デジタル画像処理装置１１２に入力される。図５は、デジタル画像処理装置１１２のブロック図である。デジタル画像３０２は、好ましくない赤目欠陥の検出のために、赤目欠陥検出装置３１０に入力される。赤目欠陥検出装置の出力は、デジタル画像３０２中の検出された赤目欠陥の各ペア（すなわち、人間の左目及び右目欠陥のペア）に対する、欠陥位置のペア３１２である。所与の画像に対し、赤目欠陥検出装置を使用して０、１または複数の欠陥ペア３１２を検出してもよい。赤目欠陥検出装置３１０は、当業界で知られる任意の方法にすることができる。好ましい赤目欠陥検出装置３１０が、スキルドクラウト他（Schildkraut et al.）による米国特許第６，２９２，５７４号に記載されている。簡単に要約すると、画像を分析する際、皮膚領域を、色及び形状にもとづき識別し、分析のために大きさを変更する。各皮膚領域を検索して、小さい赤目候補欠陥のペアを検出する。種々のスコアを分析し（例えば、対称性、目のテンプレートとのマッチングに関するスコアなど）、最終的な分類を行い、画像中の可能性のある赤目ペアの位置を示す。ここで、赤目欠陥検出装置３１０は、補間によりデジタル画像３０２の大きさを内的にスケールし、例えば、分析画像サイズを標準化する、あるいは画像中の顔または皮膚領域のサイズを標準化する。要約すると、赤目欠陥検出装置３１０は、見た目が赤く人の瞳孔を表していると思われる、画像中の画素グループを検出する。赤目欠陥検出装置３１０は、色、形状、及び関連する特性にもとづき欠陥を検出する。しかしながら、あらゆる統計的な分類処理と同様に、これらの特性により、赤目欠陥検出装置３１０がミスを起こし、以下のような欠陥を検出することがある。すなわち、実際には目の内側または外側の角である欠陥、瞳孔と虹彩の両方の画素を含む欠陥（これは、目が茶色または薄茶色の人に特に起こる）、瞳孔及び瞼や目の周りの他の皮膚部分の一部を含む欠陥が検出されてしまう。欠陥３１２の補正が行われた場合、上述したようなミスを有する欠陥は、消費者が不快に感じるアーチファクトとして表れる可能性がある。

各欠陥位置ペア３１２は、赤目欠陥の影響を受けたデジタル画像３０２の少なくとも２つの画素（左右の目それぞれに対して１つ）を含む。詳細には、各欠陥は、赤目欠陥検出装置３１０が、フラッシュの反射により不自然な赤みをもつ人間の瞳孔を表していると判断した画素の集合である。ペアのうち１つの欠陥が、赤目欠陥に影響を受けた人の左目に対応し、他方の欠陥が右目に対応する。欠陥位置ペア３１２は、イメージマップの形状としてもよい。このイメージマップでは、赤目欠陥検出装置３１０によって、赤目欠陥に影響されていると判断された画素が、他の画素とは異なる値を付与される。また、欠陥位置ペア３１２は、赤目欠陥に含まれる画素のリスト（（ｘ，ｙ）座標位置と、おそらくは画素色値）にすることもできる。

欠陥位置ペア３１２は、デジタル画像３０２及び赤目欠陥検出装置３１０からの他の情報３１３とともに、欠陥補正装置３１４に入力される。欠陥補正装置３１４は、欠陥位置ペア３１２にもとづき、デジタル画像３０２中の修正すべき画素を決定する。欠陥補正装置３１４は、決定された画素の色を修正し、赤目欠陥の視感度（visibility）を低減し、改良されたデジタル画像３２０を出力する。

図６には、欠陥補正装置３１４がより詳細に示されている。欠陥補正装置３１４の動作は、欠陥ペアの各欠陥に関して同様である。欠陥位置のペア３１２及びデジタル画像３０２が近隣部検索装置（neighborhood finder）３３０に入力される。近隣部検索装置３３０の目的は、欠陥位置ペア３１２周囲の近隣部３３１を決定することである。この近隣部３３１において、虹彩及び瞳孔の形状が検出される。好ましくは、近隣部３３１は矩形であり（かつ、デジタル画像３０２に平行な面に向けられている）、欠陥位置ペア３１２にミスが含まれる場合、片目または両目の内側または外側の角部を検出していることが多い、という事実にもとづき決定する。好ましくは、近隣部は、以下の演算によって決定する。
ベクトル：Ｄ＝Ｄ１−Ｄ０
点：Ｂ１＝Ｄ０＋ｂ_０Ｄ
点：Ｂ２＝Ｄ０＋ｂ_１Ｄ
点：Ｂ３＝Ｄ０＋ｂ_２Ｄ_ｐｅｒｐ
点：Ｂ４＝Ｄ０−ｂ_２Ｄ_ｐｅｒｐ
ここで、Ｄ０は第１の欠陥の（ｘ，ｙ）位置、Ｄ２は第２の欠陥の（ｘ，ｙ）位置、ＤはＤ０からＤ１のベクトル、Ｄ_ｐｅｒｐはＤ０を通過するベクトルであり、Ｄと同じ長さであるが、Ｄに垂直である。ｂ_０は係数、好ましくは０．３５であり、ｂ_１は係数、好ましくは−０．５１である、ｂ_２は係数、好ましくは０．２である。

近隣部の左上角部Ｂ_ｕｌは、座標（ｘ_ｕｌ，ｙ_ｕｌ）を有する。座標ｘ_ｕｌ及びｙ_ｕｌは、点Ｂ１，Ｂ２，Ｂ３，Ｂ４それぞれのｘ及びｙ座標の最小値を求めることにより決定する。同様に、近隣部の右下角部Ｂ_ｕｌは、座標（ｘ_ｌｒ，ｙ_ｒｌ）を有する。座標ｘ_ｒｌ及びｙ_ｒｌは、点Ｂ１，Ｂ２，Ｂ３，Ｂ４それぞれのｘ及びｙ座標の最小値を求めることにより決定する。図７には、点Ｄ０，Ｄ１，Ｂ１、Ｂ２，Ｂ３，Ｂ４，Ｂｘ_ｕｌ，Ｂ_ｌｒｌを示し、欠陥Ｄ０の近隣部が点線で示されている。

近隣部３３１の大きさが欠陥ペア３１２の欠陥どうしの距離及び係数ｂ_０，ｂ_１，ｂ２によって決まることは簡単にわかる。これらのパラメータｂ_０，ｂ_１，ｂ２の選択は、被写体である人間の年齢、または画像の被写体平面（subject plane）に対する被写体である人間の頭部の面外回転（out-of-plane rotation）に影響される場合もある。

次に、近隣部が虹彩および瞳孔の解剖学的領域の検出のために目部分検出装置３３２に送られる。ここで、虹彩の検出とは、虹彩と強膜との境界の検出のことを言い、瞳孔の検出とは、虹彩と瞳孔との境界の検出を言う。

目部分検出装置３３２が、図８により詳細に示されている。近隣部検索装置３３０から出力された近隣部３３１に対して、エッジ検出部３６０が作用する。特定の実施形態では、赤チャネルだけがエッジ検出部３６０に送られる。当業者であれば、赤チャネルの代わりに、他のカラーチャネル（例えば、緑または青）またはカラーチャネルの組み合わせ（例えば、輝度チャネルまたはクロミナンスチャネル）が使用できることが理解できるであろう。多くのエッジ検出器が当業界で周知であり、例えば、周知のキャニー（Canny）、ソーベル（Sobel）、プレウィット（Prewitt）エッジ検出器は、いずれも近隣部のエッジ検出に使用することができる。エッジ検出部３６０は、さらなる分析のために近隣部のエッジマップ３６２を作成する。特定の実施形態においては、ソーベルオペレータを使用して、近隣部の各位置におけるエッジの大きさ（強度）と方向の両者を示すエッジマップ３６２を作成する。

エッジ画素は、エッジマップ３６２の閾値Ｔ０より大きいエッジ強度（edge magnitude）を有する位置に識別される。例えば、エッジマップの画素の少なくとも２％がＴ０以上のエッジ強度を有し、その結果エッジ画素と識別されるように、Ｔ０を動的に選択してもよい。特定の実施形態では、Ｔ０は２８である。

エッジマップは虹彩形状検出部３６４に送られ、虹彩の形状（すなわち、虹彩と強膜との境界を形成する曲線）が検出される。この形状は、一般に、画像の座標上において、曲線または多項式（polynomial）の形で表される。虹彩と強膜との境界は円を形成し、この円が投影されて、撮像時に像平面上に曲線を形成する。この虹彩／強膜境界は、像平面と一直線上に並べることもできるし、あるいは、像平面に対して面外回転することもできる。楕円を使用してこの曲線に当てはまめることもできるが、楕円は５つの自由パラメータを有するため、フィッティング（当てはめ）が難しい。ここで、虹彩と強膜の境界はわずかな部分しか見えないことが多いため、困難が生じる。一般に、虹彩と強膜の境界は、大部分が上瞼および／または下瞼に覆われている。人が横目で見ていることも珍しくなく、その結果、虹彩／強膜の境界はわずかな部分（例えば、Π／６ラジアンの弧）しか目に見えない。このような場合には、多数のまったく異なる楕円が、ほぼ同等の性質を持つエッジに適合（fit）するので、パラメータフィッティングを制御するのが非常に難しい。

人の写真のほとんど（特に赤目欠陥が存在する場合）において、カメラに対向している人の画像に赤目欠陥が発生することがわかっている。この理由から、虹彩と強膜との境界には、円がほとんど常に適切に当てはまる。円は、自由パラメータが３つのみであり、これらのパラメータはロバストに（robustly）決定することができる。

特定の実施形態においては、虹彩形状検出部３６４はエッジマップ３６２を検索して、人間の虹彩になりうる円形の形状を探す。エッジマップからの円形虹彩形状の検出は、多くの異なる方法で実施できる。例えば、キンメル他による「アキュムレータのアレイによる円の検出」（"Finding Circles by an Array of Accumulators”, Communications of the ACM, Vol. 18, No.2, Feb. 1975, pp. 120-122））においては、エッジ強度および方向のアレイから円を決定する効果的な方法が記載されている。この方法は、米国特許第３，０６９，６５４号に最初に記載された周知のハフ変換方法の延長である。特定の実施形態においては、ＲＡＮＳＡＣ（ハートレーおよびジッセルマン(Hartley and Zisserman)
著、Multiple View Geometry, 2000, pp. 101-107)フィッティングルーティンが用いられている。本質的には、近隣部から複数（２つ）の画素が選択される。これら２点における局所的なエッジ方向が知られているので、最も可能性の高い円（最尤円）を決定できる。そして、エッジ画像を調べて、円形境界から小距離の範囲にあるエッジ画素の数にもとづき、最尤円に対するスコアを決定する。この処理を何度も（あるいは、エッジ画素の全ペアに対して）繰り返し、最も関連性の高い形状を有する円が、検出された虹彩３６６として出力される。

図９には、虹彩形状検出部３６４がより詳細に示されている。エッジ画素選択部３８０がエッジ画素のペアを選択し、形状適合部（shape fitter）３８２がこれら２つのエッジ画素にもとづき最尤円を決定する。例えば、図１０には、エッジ画素の多数のペア５００、そのエッジ方向（矢印５０４で示される）、および決定された最尤円（５０２）が例示されている。２つのエッジ点を通り、各エッジ点において円に接する接線を有し、要求されるエッジ方向に一致する（Ｔ１ラジアン以内、ここで、好ましくはＴ１＝Π／２４）円を構成できないことがよくある（図１１の例を参照のこと）。（許容できない円５０６の例が点線で示されている。）このような場合には、形状適合部３８２が失敗を報告し、エッジ画素選択部３８０はエッジ画素の新しいペアを選択すると処理が継続する。更なる円が構成できない場合には、形状適合部が同様に失敗を報告する。許容できる虹彩の半径範囲は、最小半径ｒ_ｍｉｎおよび最大半径ｒ_ｍａｘとによって決定する。好ましくは、ｒ_ｍｉｎ＝Ｒ_ｎ‖Ｄ‖＋Ｂであり、ｒ_ｍａｘ＝Ｒ_ｘ‖Ｄ‖＋Ｂである。ここで、‖Ｄ‖は上記ベクトルＤの長さであり、Ｂは撮像システムのぶれであり、Ｒ_ｎおよびＲ_ｘは乗数である。特定の実施形態においては、Ｂは２画素であり、Ｒ_ｎは０．０６であり、Ｒ_ｘは０．１４である。両目間の距離に対する虹彩の半径の比は、被写体である人間の年齢に大きく依存することがわかっている。ｒ_ｍｉｎおよびｒ_ｍａｘの値は年齢によって影響を受ける。例えば、被写体である人間が子供に分類される場合、Ｒ_ｎは好ましくは０．０９であり、Ｒ_ｘは好ましくは０．１４である。被写体である人間が大人である場合、Ｒ_ｎは好ましくは０．０６であり、Ｒ_ｘは好ましくは０．１２である。

別の実施形態として、ハフ変換方法を虹彩形状検出部３６４により使用して、虹彩／強膜境界を求めてもよい。複数ステージのアプローチを使用できることが知られている。例えば、ハフ変換を使用して円の中心を識別できる。次に、第２のハフ変換を利用して半径を識別できる。さらに、当業者であれば、虹彩形状検出部３６４に対して多くの変更が可能であることがわかるであろう。例えば、エッジ画素選択部３８０が、（上述のように２点だけでなく）３つの点を一度に選択した場合には、３つの非線形点は唯一の円を決定するという周知の事実により、エッジ方向は完全に無視できる。

任意の年齢決定部３２７は、欠陥ペアに対応する人間被写体の顔の像を分析し、年齢分類を出力する。この年齢分類は虹彩形状検出部３６４に入力され、ｒ_ｍｉｎおよびｒ_ｍａｘの値の決定に使用される。人間の顔の年齢分類を自動的に実行する方法が、ロボ他（Lobo et al.）による米国特許第５，７８１，６５０号に開示されている。

最尤円の半径が、ｒ_ｍｉｎを超えるか、あるいはｒ_ｍａｘより小さいかのいずれかの場合、形状適合部３８２は失敗を報告し、エッジ画素選択部３８０が新しいエッジ画素のペアを選択すると処理が継続する。

スコア決定部３８４は、形状適合部３８２から出力された最尤円に対する包含スコア（inclusion score）を決定する。このスコアは、最尤円の外周からわずかな距離の範囲にある、画像のエッジ画素を求めることにより生成される。特定の実施形態においては、この距離は０．７画素である。この距離範囲内にある各エッジ画素には、当該エッジ画素を最尤円の中心に結ぶ線と、欠陥ペア３１２の左右の欠陥をつなぐ線とで形成される角度にもとづき、重みがつけられる。

重みは、虹彩／強膜の境界円の所与の角度部分が目に見える確率にもとづき割り当てられる。この確率は、画像の本質、例えば、カジュアルな写真か、慎重にポーズをとった肖像写真かによって変わる。図１２には、特定の実施形態において重みを割り当てるために使用される関数を示している。関数の形状は、何百人もの一般的な消費者の画像を調べて、虹彩／強膜の境界円の所与の角度部分が目に見える確率を決定することにより求めた。可変の重みは、最尤円の外周の（上部および底部ではなく）両側部に位置するエッジ画素により高い重要性を与える。これは、虹彩／強膜境界におけるこれらの部分が人間の顔の写真において目に見えるのが、はるかに一般的だからである。最尤円に対するスコアは、該最尤円の外周からわずかな距離の範囲にあるエッジ画素すべてに対する重みの合計である。

最適形状決定部３８６は、異なる最尤円に対する包含スコアを受信し、関連スコアが最も高い最尤円を有する検出虹彩３６６を識別する。虹彩形状検出部３６４は、この検出虹彩３６６の表示を出力する。ここで、検出された虹彩３６６の多数の異なるタイプの表示が使用できる。最も簡単な表示は、円を形成する３つのパラメータの値である。また、虹彩形状検出部３６４は、任意に、検出された虹彩３６６に付随するスコアを、関連特性３６８として出力する。この関連特性を後に使用し、検出された虹彩３６６が実際に画像中の人間の虹彩を表示しているという確信、確率、または信頼性を確立することができる。

なお、好ましい本実施形態においては、虹彩と強膜の境界を最初に検出して、続いて瞳孔と虹彩の境界を検出するが、当業者であれば、その順序を逆にしてもよいことがわかるであろう。

次に、瞳孔形状検出部３７０が、検出された虹彩３６６を利用して、瞳孔／虹彩境界を決定する。特定の実施形態においては、瞳孔の境界は、検出された虹彩３６６と同一の中心を有する円であるとされる。このアプローチにより、瞳孔形状検出部３７０は、瞳孔の半径、すなわち、瞳孔／虹彩境界の半径を演算するだけでよい。瞳孔の半径、ｒ_{ｐｕｐｉｌ}の演算は、以下のように行う。

以下の方法に従い、誤差ｅ（ｒ_{ｐｕｐｉｌ}）を、半径ｒ_{ｐｕｐｉｌ}の関数として演算する。ここで、０＜＝ｒ_{ｐｕｐｉｌ}＜＝ｒ_ｉｒｉｓ （ｒ_irisは検出された虹彩の半径）である。
１．２つの平均値（mean values）を演算する。第１の平均値（「瞳孔カラー平均」）は、検出された虹彩円の中心までｒ_{ｐｕｐｉｌ}以下（＜＝ｒ_{ｐｕｐｉｌ}）である画素すべてに対して算出される。第２の平均値（「虹彩カラー平均」）は、検出された虹彩円の中心までｒ_iris以下であるその他の画素に対して算出される。検出された虹彩円の内側の画素のうち、その値がＴ３（このましくは９７％）より大きい画素をすべて排除することにより、いわゆるグリント画素（glint pixels）は無視される。また、円の中心と画素を通過する直線がエッジ画素、あるいはその付近（例えば、１．５画素以内）を通過しない場合には、画素を無視する。
２．すべての（排除されない）画素に対し、画素値と適切な平均値との差を求めることにより誤差を計算する。第１の平均値は、虹彩円の中心からｒ_{ｐｕｐｉｌ}以内（＜＝ｒ_{ｐｕｐｉｌ}）の画素に対して用いられ、第２の平均値は、虹彩円の中心からｒ_iris以内の（＜＝ｒ_iris）（ただし、ｒ_{ｐｕｐｉｌ}より遠くに位置する）画素に対して用いられる。
３．ｅ（ｒ_{ｐｕｐｉｌ}）の値は、上記ステップ２で求められた誤差の標準偏差である。

次に、ｅ（ｒ_{ｐｕｐｉｌ}）関数は、目の写真が、瞳孔の直径と虹彩の直径との所与の比を有する確率に関する関数により、重み付けされる。つづいて、ｅ（ｒ_{ｐｕｐｉｌ}）関数の最小値に関連するｒ_{ｐｕｐｉｌ}値を求めることにより、瞳孔の半径を決定する。図１３には、数千の人間の目を含む何百もの画像を調査して求められた、この目的のための、適切な確率密度関数の例が示される。

瞳孔形状検出部３７０は、検出された瞳孔３７２を出力し、また、関連する検出特性３６８、虹彩の色、及び瞳孔の色を任意に出力する。これらを後に使用して、検出された瞳孔３７２が実際に画像中の人間の瞳孔を表示しているという確信、確率、または信頼性を確立することができる。

検出された虹彩３６６及び検出された瞳孔３７２（まとめて「目部分３７４」と呼ぶ）は、信頼性決定部３７２に入力され、検出された目部分が正確であり、デジタル画像３０２において対応する目部分を正確に表しているという確信、確率、または信頼性を確定する。

ここで、信頼性決定部３７６は、欠陥ペア３１２の個々の欠陥における検出された目部分３７４が正確であるという確率を確定することもできるし、または、欠陥ペア３１２における検出された目部分３７４にもとづき確率を確定することもできる。

特定の実施形態においては、信頼性決定部３７６は、検出された目部分及び関連する検出特性３６８にもとづき、欠陥ペア特性のセットを計算する。第１の特性Ｆ_１は、２つの検出された虹彩の大きさの差に関連し、以下のように算出される。

ここで、Ｒ_０は欠陥ペア３１２の第１の欠陥に関連する検出された虹彩の半径であり、Ｒ_１は欠陥ペア３１２の第２の欠陥に関連する検出された虹彩の半径である。

第２の特性Ｆ_２は、検出された虹彩の内側にあり、かつ検出された瞳孔の外側にある画素の色の一貫性に関連する。言い換えると、これらの画素は、虹彩自体を構成するもので、人の目の色、例えば「青」、「茶」または「うす茶（ヘーゼル）」などを決定する部分に相当する。この虹彩領域の平均色の差は、次のように求められる。

上式において、ｃは、デジタル画像に含まれるカラー情報のチャネルの数（一般に、ｃ＝３であり、Ｃ_ｎｉは、ｉ番目のカラーチャネルに対する（ｎ＋１）番目の欠陥の虹彩カラーの値である。

第３の特性Ｆ_３は、虹彩形状検出部３６４により生成されたスコアに関連する。この特性は、単純に、２つの検出された虹彩のそれぞれに関するスコアのうち、最小の方である。
Ｆ_３＝ ｍｉｎ（ｓ_０，ｓ_１）

欠陥ペア特性のさまざまな値に関連する確率が、数千の人間の目を含む何百もの画像の分析により確認された。所与のＦ_１に対し、検出された目部分３７４のペアが正しい確率が図１４に示される。所与のＦ_２に対し、検出された目部分３７４のペアが正しい確率が図１５に示される。所与のＦ_３に対し、検出された目部分３７４のペアが正しい確率が図１６に示される。所与のＦ_１，Ｆ_２，Ｆ_３に対し、検出された目部分３７４のペアが正しいという全体の確率は、次式により算出できる。
Ｐ（Ａ|Ｆ_１，Ｆ_２，Ｆ_３）＝（Ｐ（Ｆ_１）^＊Ｐ（Ｆ_２）^＊Ｐ（Ｆ_３））^ｋ
特定の実施形態においては、ｋの値は１／３である。

信頼性決定部３７６は、確率Ｐ（Ａ|Ｆ_１，Ｆ_２，Ｆ_３）（図８において符号３７８で示されている）を出力する。好ましい実施形態では、３つの特性を用いて確率３７８を決定したが、当業者であれば任意の数の特性を使用できることがわかるであろう。

図６に戻り、サイズ限定部３３４は、欠陥ペア３１２の欠陥、決定した目部分３７４、関連する確率を入力し、さらに、必要に応じて、欠陥の画素を決定して削除することにより、欠陥をトリミングする。特定の実施形態においては、サイズ限定部３３４は限定円を決定し、この限定円の外側にあるすべての画素を欠陥から削除する。関連する確率が非常に高い（制限Ｔ４以上）場合、この限定円は検出された瞳孔である。関連する確率が中程度（Ｔ４より小さく、下限Ｔ５より大きい）の場合、限定円は検出された虹彩である。関連する確率が低い（Ｔ５以下）場合、限定円は無限半径の円である（すなわち、修正された欠陥は元の欠陥と同一である）。限定円が検出された瞳孔であれば、サイズ限定部３３４がトリミング処理に限定円の半径を使う前に、限定円の半径に１．５画素の距離を足すことによって限定円を拡大することが効果的であることがわかっている。適切な値の例として、Ｔ４＝０．６であり、Ｔ５＝０．３５である。

図１７は、欠陥ペア３１２からの欠陥に対するサイズ限定部３３４の影響を、検出された目部分３７４及び関連する確率３７８の関数として例示する。図１７には、２３個の目の集合が示されている。最上列には、オリジナルの目４００、正確な目部分検出を重ねた目４０２、及び正確性の低い目部分検出を伴う目４０４が示される。検出された虹彩及び瞳孔は、点線で示されている。

一方、下方に示す、一番左列の４つの目は、欠陥ペア３１２からの仮定欠陥（斜線で表示されている）を示す。一番上の欠陥４０６は、赤目欠陥検出部３１０からの望ましい正確な出力である。次の欠陥は誤検出（false positive）であり、目の端が欠陥であると誤認識されている。この誤検出欠陥４０８を色修正部３３６によって修正すると、目の端に望ましくない暗い点が現れる（そして、瞳孔における赤目画素は処理されずにそのまま残る）。次の欠陥では、瞳孔と虹彩の全体が欠陥４１０と識別されている。この過大な欠陥を色修正部３３６で補正すると、赤目瞳孔画素は補正されるが、虹彩の画素が望ましくなく暗くなり、色が非飽和になる。最後のオリジナル欠陥では、過大な欠陥４１２を補正すると、上瞼が暗くなって好ましくない。

２番目の列は、正確な目部分検出４０２をサイズ限定部３３４によって使用し、欠陥４０６から４１２を、以下により定められる限定円としての瞳孔にトリミングした目を示している。
（Ｐ（Ａ|Ｆ_１，Ｆ_２，Ｆ_３）＞Ｔ４）
各場合に、好ましい結果が得られる。誤検出欠陥４０８は、完全に限定円の外側に位置するため、修正された欠陥においては完全に取り除かれている。したがって、目の端が望ましくなく暗くなることもない。

３番目の列４１６は、限定円を以下のように検出された虹彩により定めた場合に生成された修正欠陥のセットを示している。
（Ｔ４＞Ｐ（Ａ|Ｆ_１，Ｆ_２，Ｆ_３）＞Ｔ５）
欠陥４０８及び４１２に対応する修正された欠陥は改善されているが、全体としての改善は、２番目の列より劣る。

４番目及び５番目の列４１８，４２０は、目部分検出３７４がより正確でない場合の、（Ｐ（Ａ|Ｆ_１，Ｆ_２，Ｆ_３）＞Ｔ４）と（Ｔ４＞Ｐ Ｐ（Ａ|Ｆ_１，Ｆ_２，Ｆ_３）＞Ｔ５）それぞれに対する結果として、修正された欠陥を示している。一般に、検出された目部分が正確で、かつ信頼性決定部３７６により決定した確率が高い場合に、最適な結果が得られることが知られている。検出された目部分の正確性がより低い場合には、信頼性決定部３７６により決定される確率が適切に低い方が、サイズ限定部３３４により生成された修正欠陥はオリジナル欠陥より改良されたものになる。検出された目部分がより正確でなく、信頼性決定部３７６がその検出された目部分に誤って非常に高い信頼性を与えた場合には、４番目の列の修正された欠陥からわかるように、ダメージが発生する可能性がある。

再び図６に戻ると、修正された欠陥は色修正部３３６に入力され、修正された欠陥に含まれるデジタル画像の画素の色が改良される。色修正部３３６は、修正された欠陥の画素の色を修正して赤目効果を低減し、改良されたデジタル画像３２０を生成する。色修正部３３６からの出力は、赤目欠陥が補正された、色修正画像ｐ（ｘ、ｙ）である（例えば、人間の瞳孔が、赤でなく黒く現れている）。

特定の実施形態においては、修正された欠陥の画素の色を補正する方法は以下の通りである。既に述べたように、カラー画像は、カラー情報の１つ以上の色要素値（またはチャネル）を含む。赤、緑、及び青の色成分を有するオリジナルデジタル画像３０２においては、画像中の各画素位置ｐ（ｘ，ｙ）に対し、赤ｐ_Ｒ（ｘ，ｙ）、緑ｐ_Ｇ（ｘ，ｙ）、青ｐ_Ｂ（ｘ，ｙ）の成分値が存在する。ここで、どの色成分が赤い光に対して最も感度が小さい（least sensitive）かを決定する。赤、緑、青の色成分を有する画像を生成する一般的なデジタルカメラの場合、赤い光に対して最も感度が低い色成分は、青の成分である。そこで、修正された欠陥に含まれる各画素の色を次のように補正する。すなわち、すべての色成分値を、赤い光に対して最も感度の小さいデジタル画像の色成分に置き換える。赤い光に対して最も感度が低い色成分が青の成分であれば、次のような補正を行う。すなわち、修正された欠陥の各画素について、あらゆる色成分の値を青色成分の値に置き換えることで色を修正する。

赤、緑、青の色成分を有するデジタル画像に対する、修正された欠陥に含まれる画素の色修正は、以下のように記載される。
ｐ_Ｒ（ｘ，ｙ）＝ｐ_Ｂ（ｘ，ｙ）
ｐ_Ｇ（ｘ，ｙ）＝ｐ_Ｂ（ｘ，ｙ）
ここで、青の色成分は修正する必要はなく、目のグリントは赤目画素と同じ補正技術で処理できるので、この補正方法は非常に高速であるという利点がある。

最後に、色修正部３３６から出力された、色修正されたデジタル画像が欠陥混合部３３８に入力され、欠陥画素と境界画素との境界の可視性が低減される。ここでは、空間演算子（spatial operator）が算出されて適用される。

特定の実施形態においては、空間演算子はＮｘＮフィルタである。Ｎの大きさは、修正された欠陥の大きさにもとづいて決定する。好ましくは、修正された欠陥が２８より少ない画素を含む場合、Ｎ＝３であり、そうでなければＮ＝５である。より小さい空間演算子を使用してより小さい欠陥補正を混合することで、人である被写体の目の不快なぶれを生じる可能性がある過度のぶれを防ぐことができる。相を保持するために、Ｎは奇数でなければならない。

空間演算子は、好ましくは対称ローパスフィルタである。空間演算子Ｆ（ｉ，ｊ）の係数の相対的な大きさは、次式の通りである。

フィルタＦ（ｉ，ｊ）は、すべての係数の合計が１．０になるように正規化される。

欠陥混合部３３８は、次のように動作する。すなわち、各画素に対し、局所的なＮｘＮ近隣部を調査する。この局所的近隣部内部において修正された欠陥に属する画素の数Ｐを表にまとめる。数Ｐは、包括的に０とＮ^２との間の範囲とすることができる。画素数Ｐが０（すなわち、修正された検出領域に属する画素がない）またはＮ^２（局所的近隣部の画素すべてが修正された欠陥領域に属する）のいずれかの場合、画素は変更しない。それ以外の場合には、色修正部３３６により修正された各カラーチャネルに対し（なお、赤、緑、青の色要素を有するデジタル画像の好ましい実施形態では、青の色成分は色修正部３３６によって修正されず、よって欠陥混合部３３８によっても修正されない）、ぶれ画素値（blurred pixel value）Ｂ_Ｃ（ｘ，ｙ）が、以下のようにたたみこみ（convolution）により演算される。

改良された画素値は、以下のとおりである。

ここで、Ｗは、前出の修正された欠陥に属する局所的なＮｘＮ近隣部内の画素数Ｐに関連する重みである。好ましい重みＷは以下のとおりである。

Ｗは、０から１の範囲にあり、局所的近隣部が、修正された欠陥に属する画素と画像中の非欠陥画素との境界を中心とするときに最大となる。

改良された画素値を、カラー修正画像に置き換え、出力改良デジタル画像３２０が生成される。改良されたデジタル画像３２０は、赤目の影響を有する画素を修正することで改良されているので、人の瞳孔が自然に写った画像を提供する。例えば、特定の実施形態では、赤目欠陥位置どうしの距離、年齢分類、および撮影を行った光学装置におけるブレ量を含む情報のすべてを使用して、虹彩／強膜境界および／または瞳孔／虹彩の境界を求める。この情報により、限定円を生成する。そして、この限定円を用いて、拡大した欠陥をトリミングし、不快な過剰補正に寄与する可能性のある画素を取り除く。サイズ限定部３３４の出力は、修正された欠陥である。

上記の方法を他の手順と組み合わせることで、より適切に候補目を見つける、または目の特性情報を利用する、あるいはその両者を行うことができる。例えば、赤目欠陥は、以下の１つ以上を使用して補正が可能である。すなわち、目どうしの距離、年齢分類の決定、種位置（seed location）または重心からの画素距離、青チャネル値、またはアンドリューＣギャラファ（Andrew C. Gallapher）およびジェイＳシルトクラウト（Jay S. Schildkraut）による米国特許出願第１０／７９２，０７９号（代理人番号Docket 87517RLW,出願日２００４年３月３日、発明の名称「人間の画像における赤目欠陥の補正（CORRECTION OF REDEYE DEFECTS IN IMAGES OF HUMANS）、該出願の開示内容は本願明細書の一部としてここに援用する）に開示されるその他の特性のうち１つまたは複数を使用して赤目欠陥の補正が可能である。

本発明による方法を示すフローチャートである。 図１の方法の実施形態を示すより詳細なフローチャートである。 図２に示す実施形態の修正を示すより詳細なフローチャートである。 本発明による方法を実施するコンピュータシステムの概略図である。 図４に示されるシステムのデジタル画像処理装置の概略図である。 図５に示される欠陥補正部を示すより詳細な図である。 図６に示される近隣部検出部により識別された局所的近隣部の１つを示す図である。 図６に示される目部分検出部を示すより詳細な図である。 図８に示される虹彩形状検出部を示すより詳細な図である。 本発明の方法により、図９のエッジ画素選択部によって選択された２対のエッジ画素と、それらエッジ画素に適合する円とを示す図であり、エッジ方向が矢印によって示されている。 図１０と同様の図であるが、エッジ画素の対は、本発明の方法によって円が適合できないように配置されており、点線により円を適合する試みが示され、エッジ方向が矢印で示されている。 図９に示されるスコア決定部により適用された重み関数の図である。縦座標は確率の単位であり、横座標はラジアン＊１００の単位である。 図８に示される瞳孔形状検出部により使用が可能な、瞳孔半径の虹彩半径に対する比についての、経験的に決定された確率密度関数を示す図である。 経験的に決定された、人間の１対の目の虹彩どうしの大きさの差の所与の比に対し、検出された目部分のペアが正確である確率を示す図であり、縦軸は確率の単位であり、横軸は構成Ｆ_１の値である。 経験的に決定された、人間の目の虹彩領域の平均色の所与の差に対し、検出された目部分のペアが正確である確率を示す図であり、縦軸は確率の単位であり、横軸は構成Ｆ_２の値である。 経験的に決定された、人間の１対の目に関連する最小虹彩形状検出スコアに対し、検出された目部分のペアが正確である確率を示す図であり、縦軸は確率の単位であり、横軸は構成Ｆ_３の値である。 検出された目部分及び関連する確率の関数として、図６のサイズ限定部が欠陥ペアからの欠陥に与える影響を示す図である。

Claims (64)

1. 複数の画素を有するデジタル画像に使用される目の検出方法であって、
   画像内に複数の候補目を探すステップと、
   所定の特徴及び前記目のそれぞれに対する所定の関連を有する、前記デジタル画像の画素を求め、注目画素を提供するステップと、
   前記目のそれぞれに関連する前記注目画素を複数の異なるグループにグループ化するステップと、
   前記グループのそれぞれについてパラメトリック境界を当てはめて複数の検出された目の特性を定めるステップであって、前記境界は、所定の均一形状と、前記各グループに合うサイズを有し、
   前記境界のそれぞれと、前記目のそれぞれに関連する注目画素との幾何学的関係について、前記検出された目の特性のそれぞれにスコアを付け、各目の特性スコアを提供するステップと、
   を含む、方法。
2. 請求項１に記載の方法において、
   前記グループは均一の大きさである、方法。
3. 請求項１に記載の方法において、
   前記グループのそれぞれは、前記パラメトリック境界を定めるのに最低限十分な画素数を有する、方法。
4. 請求項３に記載の方法において、
   前記境界のそれぞれは多項式により定められる、方法。
5. 請求項３に記載の方法において、
   前記境界は円である、方法。
6. 請求項５に記載の方法において、
   前記グループのそれぞれは３つの画素から構成される、方法。
7. 請求項１に記載の方法において、
   前記境界のそれぞれは多項式により定められる、方法。
8. 請求項１に記載の方法において、
   前記境界は円である、方法。
9. 請求項１に記載の方法において、
   前記画素を求めるステップは、前記候補目のそれぞれに対して局所的近隣部を識別するステップをさらに含む、方法。
10. 請求項９に記載の方法において、
    前記複数の候補目を探すステップは、複数対の候補目を検出するステップをさらに含み、前記局所的近隣部の大きさは、前記各ペアの候補目の要素を隔たりの関数である、方法。
11. 請求項１０に記載の方法において、
    前記候補目のそれぞれは赤目欠陥を有し、
    前記複数の候補目を探すステップは、さらに、前記赤目欠陥のそれぞれを求めるステップを含む、方法。
12. 請求項９に記載の方法において、
    前記画素を求めるステップは、前記局所的近隣部のそれぞれに対して所定のプロパティの値のマップを生成するステップと、前記各マップにおいて、前記プロパティの前記値が所定の範囲にある位置を識別するステップと、をさらに含む、方法。
13. 請求項１２に記載の方法において、
    前記マップは、エッジ値と、色値と、色近接値の少なくとも１つを含む、方法。
14. 請求項９に記載の方法において、
    前記画素を求めるステップは、前記局所的近隣部のそれぞれのエッジマップを生成し、前記各エッジマップ上の、所定の閾値より大きいエッジ強度を有する位置を識別し、前記注目画素を定める、方法。
15. 請求項９に記載の方法において、
    前記検出された目の特性にスコアをつけるステップは、前記境界のそれぞれからの前記注目画素の隔たりを確かめるステップをさらに含む、方法。
16. 請求項１５に記載の方法において、
    前記検出された目の特性にスコアをつけるステップは、前記境界のそれぞれの所定の距離内にある注目画素の数をカウントするステップをさらに含む、方法。
17. 請求項１６に記載の方法において、
    前記距離は０．７画素である、方法。
18. 複数の画素を有するデジタル画像に使用される目の検出方法であって、
    画像内に１つ以上の候補目を探すステップと、
    １つ以上の局所的近隣部を識別するステップであって、前記局所的近隣部のそれぞれは、前記候補目の各１つを含むとともに、該各１つの候補目より大きく、
    前記局所的近隣部のそれぞれにおいて、注目画素の複数の異なるグループを決定するステップと、
    前記グループのそれぞれに所定のパラメトリック境界を当てはめ、複数の検出された目の特性を定めるステップと、
    局所的近隣部における注目画素と前記境界のそれぞれとの幾何学的関係について、前記検出された各目の特性にスコアを付け、各目の特性スコアを提供するステップと、
    を含む、方法。
19. 請求項１８に記載の方法であって、
    前記局所的近隣部のそれぞれにおいて、前記目の特性スコアのうち最も順位の高いスコアを有する前記検出された特性のうちのひとつを選択し、選択された目の特性を提供するステップをさらに含む、方法。
20. 請求項１９に記載の方法において、
    前記候補目を探すステップは、赤目欠陥を検出するステップをさらに含み、前記方法は、前記選択された目の特性にもとづき前記赤目欠陥を修正するステップをさらに含む、方法。
21. 請求項２０に記載の方法において、
    前記修正するステップは、前記選択された目の特性のそれぞれにしたがって前記赤目欠陥のそれぞれを訂正するステップをさらに含む、方法。
22. 請求項１８に記載の方法において、
    前記検出された目の特性にスコアをつけるステップは、前記各境界から短距離内にある注目画素の数を確かめるステップをさらに含む、方法。
23. 請求項１８に記載の方法において、
    前記各境界は多項式により定められる、方法。
24. 請求項２３に記載の方法において、
    前記注目画素の各グループは、前記多項式のそれぞれを定めるために最小限必要な数の画素を有する、方法。
25. 請求項１８に記載の方法において、
    前記境界は円である、方法。
26. 請求項１８に記載の方法において、
    前記注目画素の各グループは、前記パラメトリック境界のそれぞれを定めるために最小限必要な数の画素を有する、方法。
27. 請求項２６に記載の方法において、
    前記パラメトリック境界は円であり、前記各グループは３つの画素から構成される、方法。
28. 請求項１８に記載の方法において、
    前記候補目を探すステップは、１つ以上の赤目欠陥ペアを検出するステップをさらに含む、方法。
29. 請求項２８に記載の方法において、
    前記局所的近隣部の大きさは、赤目欠陥ペアの各要素の隔たりの関数である、方法。
30. 請求項２８に記載の方法において、
    前記各局所的近隣部は、点Ｂ１，Ｂ２，Ｂ３，Ｂ４のうちｘ及びｙ座標がそれぞれ最小の画素座標を有する左上の角部を有し、かつ、点Ｂ１，Ｂ２，Ｂ３，Ｂ４のうちｘ及びｙ座標がそれぞれ最大である画素座標を有する右下の角部を有し、ここで、
    点Ｂ１＝Ｄ０＋ｂ_０Ｄ
    点Ｂ２＝Ｄ０＋ｂ_１Ｄ
    点Ｂ３＝Ｄ０＋ｂ_２Ｄ_ｐｅｒｐ
    点Ｂ４＝Ｄ０−ｂ_２Ｄ_ｐｅｒｐ
    であり、上式において、
    Ｄ０は前記各欠陥ペアの第１の欠陥の（ｘ，ｙ）位置、
    Ｄ１は前記各欠陥ペアの第２の欠陥の（ｘ，ｙ）位置、
    ＤはＤ＝Ｄ１−Ｄ０となるような、Ｄ０からＤ１のベクトルであり、
    Ｄ_ｐｅｒｐはＤ０を通過してＤに対して垂直に延び、Ｄと同じ長さを有するベクトルであり、ｂ_０、ｂ_１、ｂ_２は係数である、方法。
31. 請求項３０に記載の方法において、
    ｂ_０＝０．３５、ｂ_１＝−０．５１、ｂ_２＝０．２である、方法。
32. 請求項３０に記載の方法であって、
    さらに、前記各赤目欠陥ペアに関連して年齢の分類を決定し、該関連する年齢分類にもとづきｂ_０、ｂ_１、ｂ_２の１つ以上を調整する、方法。
33. 請求項３０に記載の方法であって、
    さらに、前記各赤目欠陥ペアに関連して面外回転の程度を決定し、該関連する面外回転の程度にもとづきｂ_０、ｂ_１、ｂ_２の１つ以上を調整する、方法。
34. 請求項３０に記載の方法において、
    前記境界は円であり、前記当てはめるステップは、前記グループのうち、下式により与えられる最大及び最小半径の範囲を超える半径を有する円に当てはまるグループを考慮から外すステップをさらに含み、
    ｒ_ｍax＝Ｒ_x‖Ｄ‖＋Ｂ
    ｒ_ｍin＝Ｒ_n‖Ｄ‖＋Ｂ
    ここで、ｒ_ｍaxは最大半径であり、
    ｒ_ｍinは最小半径であり、
    ‖Ｄ‖はベクトルＤの長さであり、
    Ｂは撮像システムのぶれであり、
    Ｒ_ｎおよびＲ_ｘは乗数である、方法。
35. 請求項３４に記載の方法において、
    Ｂは２画素であり、Ｒ_ｎは０．０６、Ｒ_ｘは０．１４である、方法。
36. 請求項３４に記載の方法において、
    前記各赤目欠陥ペアに関連して、大人または子供の年齢分類を決定するステップをさらに含み、各年齢分類が大人である場合、Ｒ_ｎ＝０．０６、Ｒ_ｘ＝０．１２であり、各年齢分類が子供である場合、Ｒ_ｎ＝０．０９、Ｒ_ｘ＝０．１４である、方法。
37. 請求項１８に記載の方法において、
    前記複数のグループを決定するステップは、前記各局所的近隣部のエッジマップを生成するステップをさらに含む、方法。
38. 請求項３７に記載の方法において、
    前記決定するステップは、前記各エッジマップにおける、所定の閾値より大きいエッジ強度を有する位置を識別し、前記注目画素を定めるステップをさらに含む、方法。
39. 請求項３８の方法において、
    前記閾値は、前記局所的近隣部の所定の割合の画素が注目画素になるように、動的に選択された値として予め定められる、方法。
40. 請求項３９に記載の方法において、
    前記所定の割合は、局所的近隣部の画素の少なくとも２パーセントである、方法。
41. 請求項３８に記載の方法において、
    前記境界は円である、方法。
42. 請求項４１に記載の方法において、
    前記グループはそれぞれ２つの画素を含み、前記当てはめるステップは、前記２つの画素における局所的エッジ方向を、前記エッジマップから確かめるステップをさらに含む、方法。
43. 請求項４２に記載の方法において、
    前記検出された目の特性のそれぞれにスコアをつけるステップは、前記各境界のから所定の距離内にある注目画素の数を確かめるステップをさらに含む、方法。
44. 請求項４３に記載の方法において、
    前記スコアをつけるステップは、前記グループの前記画素の１つまたは両方において接線からπ／２４ラジアン以上の局所的エッジ方向を有する検出された目の特性を考慮から外すステップをさらに含む、方法。
45. 請求項４１に記載の方法において、
    前記グループはそれぞれ３つの画素を含む、方法。
46. 請求項４１に記載の方法において、
    前記決定して当てはめるステップは、さらに、ハフ変換の１つ以上の段階を、前記各局所的近隣部の内部の前記注目画素に適用するステップを含む、方法。
47. 請求項１８に記載の方法において、
    前記当てはめるステップは、前記各境界から所定の距離を超える位置にある、前記グループの画素を考慮から外すステップをさらに含む、方法。
48. 請求項４７に記載の方法において、
    前記距離は０．７画素である、方法。
49. 請求項４７に記載の方法において、
    前記スコアをつけるステップは、前記考慮から外すステップの後に、前記グループの外されなかった画素を、横方向画素と縦方向画素とに分類し、前記横方向画素と前記縦方向画素とに異なる重み付けをするステップをさらに含む、方法。
50. 請求項１８に記載の方法において、
    前記候補目を探すステップは、複数対の候補目を検出するステップをさらに含み、
    前記局所的近隣部の大きさは、前記候補目の各対の要素どうしの隔たりの関数であり、
    前記境界は円であり、
    前記検出された目の特性のそれぞれにスコアをつけるステップは、前記各境界の所定距離内にある前記注目画素の数をカウントするステップと、前記各境界から前記所定距離内にある注目画素のそれぞれに重みを割り当てるステップとをさらに含み、前記重みは各注目画素と各境界の中心とを結ぶ直線と候補目の各対の要素どうしを結ぶ直線とにより形成される角度にもとづいている、方法。
51. 複数の画素を有するデジタル画像に使用される目の検出方法であって、
    デジタル画像において１つ以上の赤目欠陥ペアを探すステップと、
    前記赤目欠陥ペアのそれぞれの各要素に対して局所的近隣部を識別するステップと、
    前記局所的近隣部のそれぞれにおいて、注目画素の複数の異なるグループを決定するステップと、
    前記各局所的近隣部内において注目画素を確かめるステップであって、前記注目画素はそれぞれ所定の特性を有し、
    前記各局所的近隣部において、前記注目画素に最適に当てはまる円を決定するステップと、
    を含む、方法。
52. 請求項５１に記載の方法であって、
    前記円のそれぞれを使用して前記各赤目欠陥ペアを補正するステップをさらに含む、方法。
53. 請求項５２に記載の方法において、
    前記各円は検出された虹彩を定め、前記各円を使用するステップは、前記各円内部の赤目のみを取り除くステップをさらに含む、方法。
54. 請求項５２に記載の方法において、
    前記各円は検出された瞳孔を定め、前記各円を使用するステップは、前記各円内部の赤目のみを取り除くステップをさらに含む、方法。
55. 請求項５１に記載の方法において、
    前記所定の特性は、エッジ強度及びエッジ方向である、方法。
56. 請求項５１に記載の方法において、
    前記最適に当てはまる円を決定するステップは、前記各局所的近隣部のエッジマップを作成するステップと、所定の閾値より大きいエッジ強度を有する、前記各エッジマップ上の位置を識別し、前記注目画素を定めるステップと、をさらに含む、方法。
57. 請求項５１に記載の方法において、
    前記局所的近隣部の大きさは、前記各赤目欠陥ペアの要素どうしの隔たりの関数である、方法。
58. 請求項５１に記載の方法において、
    前記最適に当てはまる円を決定するステップは、前記各局所的近隣部内の前記注目画素の異なるグループについて複数の円を当てはめるステップと、前記局所的近隣部内における注目画素の相対位置にもとづき前記円にスコアをつけるステップとをさらに含む、方法。
59. 複数の画素と1つ以上の赤目欠陥とを有するデジタル画像において人間の虹彩を検出する方法であって、
    前記デジタル画像において、1つ以上の赤目欠陥ペアを探すステップと、
    前記赤目欠陥ペアのそれぞれの各要素に対して局所的近隣部を識別するステップであって、前記局所的近隣部は前記各赤目欠陥ペアの各要素の隔たりの関数である大きさを有するステップと、
    前記各局所的近隣部のエッジマップを生成するステップと、
    所定の閾値より大きいエッジ強度を有する、前記各エッジマップ上の位置を識別し、注目画素を定めるステップと、
    前記各赤目欠陥に関連する前記注目画素を、複数の異なるグループに分類するステップであって、各グループが２つの画素を有するステップと、
    前記各グループに円を当てはめるステップであって、エッジ方向は、前記各グループの前記各画素において前記各円に対する接線であり、これにより複数の検出された目の特性を定めるステップと、
    前記各円の所定距離内にある前記注目画素の数をカウントするステップと、
    前記各円の前記所定距離内にある前記注目画素のそれぞれに重みを割り当てるステップと、
    を含む、方法。
60. 人間である被写体の画素を有する画像において赤目欠陥を補正する方法であって、
    右目及び左目を表す１対の赤目欠陥を探すステップであって、前記欠陥はそれぞれ１つ以上の画素を有するステップと、
    前記各目に関連して局所的近隣部を識別するステップと、
    前記局所的近隣部のそれぞれを検索し、円形の形状を有する候補目特性を検出し、１対の検出された目の特性を提供するステップと、
    前記検出された目の特性と、関連する前記赤目欠陥とを用いて前記画像を補正するステップと、
    を含む、方法。
61. 請求項６０に記載の方法において、
    前記各円は検出された虹彩を定め、前記赤目欠陥を用いて補正するステップは、前記各円の内部のみ赤目を取り除くステップをさらに含む、方法。
62. 請求項６０に記載の方法において、
    前記各円は検出された瞳孔を定め、前記赤目欠陥を用いて補正するステップは、前記各円の内部のみ赤目を取り除くステップをさらに含む、方法。
63. 複数の画素を有するデジタル画像とともに用いられるコンピュータプログラム製品であって、該コンピュータプログラム製品はコンピュータプログラムを記憶した、コンピュータ読取可能な記憶媒体を含み、
    画像内に複数の候補目を探すステップと、
    所定の特徴及び前記目のそれぞれに対する所定の関連を有する、前記デジタル画像の画素を求め、注目画素を提供するステップと、
    前記目のそれぞれに関連する前記注目画素を複数の異なるグループにグループ化するステップと、
    前記グループのそれぞれについてパラメトリック境界を当てはめて複数の検出された目の特性を定めるステップであって、前記境界は、所定の均一形状及び前記各グループに合うサイズを有するステップと、
    前記各境界と、前記目のそれぞれに関連する注目画素との幾何学的関係について、前記検出された目の特性のそれぞれにスコアを付け、各目の特性スコアを提供するステップと、
    を実行するコンピュータプログラム製品。
64. 複数の画素を有するデジタル画像とともに使用される目検出装置であって、
    画像内に複数の候補目を探す手段と、
    所定の特徴及び前記目のそれぞれに対する所定の関連を有する、前記デジタル画像の画素を求め、注目画素を提供する手段と、
    前記目のそれぞれに関連する前記注目画素を複数の異なるグループにグループ化する手段と、
    前記グループのそれぞれについてパラメトリック境界を当てはめて複数の検出された目の特性を定める手段であって、前記境界は、所定の均一形状及び前記グループのそれぞれに合うサイズを有する手段と、
    前記各境界と、前記目のそれぞれに関連する注目画素との幾何学的関係について、前記検出された目の特性のそれぞれにスコアを付け、各目の特性スコアを提供する手段と、
    を備える、装置。

Images