JP2000125320A

JP2000125320A - 赤目検出用コンピュ―タプログラム製品

Info

Publication number: JP2000125320A
Application number: JP11145990A
Authority: JP
Inventors: Jay S Schildkraut; エスシックルドクラウトジェイ; Robert T Gray; ティーグレイロバート
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1998-05-26
Filing date: 1999-05-26
Publication date: 2000-04-28
Also published as: EP0961225A2; EP0961225A3; US6252976B1

Abstract

(57)【要約】【課題】自動的な赤目欠陥検出方法を提供する【解決手段】画像内の対称のフラッシュ照明による目
の色の欠陥を検出するコンピュータプログラム製品であ
って、コンピュータが読み込み可能な記憶媒体を含む。
この記憶媒体は、デジタルイメージ内の肌色領域を検出
するステップ（Ｓ４）と、肌色領域の赤目欠陥の色特徴
を持つ画素の集合を検索するステップ（Ｓ３０）と、検
索ステップで発見された赤目欠陥の位置に基づき画素の
色を訂正するステップとを実行するコンピュータプログ
ラムを記憶する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデジタル画像処理分
野に関し、特にデジタル画像内の赤目を検出する方法に
関する。

【０００２】

【従来の技術】フラッシュ照明が用いられ画像を捕えた
時、画像内の人間の瞳孔が赤くみえる場合がある。これ
は、フラッシュ装置からの光が、瞳孔に入り、網膜で多
様に反射し、最後に瞳孔から出てくることに起因する。
網膜の毛細管によって光の一部が吸収されるため、画像
内の瞳孔は赤くみえる。この現象を、「赤目」と呼ぶ。
赤目が観測される確率は、フラッシュ装置がレンズの光
学軸に近いほどに増加する。このため、赤目は一般的
に、フラッシュ装置を備えた小さなカメラが捕えた画像
で観測される。

【０００３】一般に譲渡された米国特許５，４３２，８
６３号は、赤目の色特徴を備えた画像内の物体のユーザ
インタラクティブな検出方法に関する。この方法は赤目
画素候補を形状、配色、明るさ、に基づき自動的に検出
する。

【０００４】

【発明が解決しようとする課題】既知の赤目検出方法は
満足のいくようなものではあるが、欠点が無いわけでは
ない。米国特許５，４３２，８６３号の方法では、候補
画素が顔に位置するか又は人間の目の一部であるか、等
を決定しない。

【０００５】その結果、上記の欠点を克服した赤目検出
方法が必要とされている。

【０００６】

【課題を解決するための手段】本発明は、一以上の上記
の問題点を克服することに向けられる。短く要約する
と、本発明の一つの態様によれば、本発明は、コンピュ
ータプログラム製品の分野に属し、フラッシュ照明によ
る画像内対象の目の色の欠陥を検出する。このコンピュ
ータプログラム製品は、コンピュータプログラムをその
中に保存した、コンピュータが読み込み可能な記憶媒体
を有し、そのプログラムが、（ａ）デジタルイメージ内
の肌色の領域を検出するステップと、（ｂ）肌色の領域
を調査し赤目欠陥の色特徴を備えた画素集合を探すステ
ップと、（ｃ）ステップ（ｂ）で発見された赤目欠陥の
場所に基づき画素の色を訂正するステップと、を実行す
ることを特徴とする。

【０００７】本発明の目的の一つは、自動的な赤目欠陥
検出方法を提供することである。

【０００８】本発明の目的の一つは、赤目欠陥候補が人
間の顔の一部かどうかを決定する方法を提供することで
ある。

【０００９】また、本発明の目的の一つは、赤目欠陥候
補が人間の目の一部かどうかを決定する方法を提供する
ことである。

【００１０】これら及びその他の本発明の態様、目的、
特徴、利点は、これに続く好適な実施形態の詳細な説明
及び追記する請求項を読むこと及び付随する図を参照す
ることでより明確に理解でき、評価できるであろう。

【００１１】

【発明の実施の形態】下述の記載では、本発明の好適な
実施形態をソフトウェアプログラムとして説明する。当
業者には、そのようなソフトウェアと同等のものがハー
ドウェアで構成できることは難なく理解できるであろ
う。

【００１２】図１は、カラー画像のグレースケール画像
１０であり、二組の赤目２０を示す。

【００１３】図２は、本発明の総フローチャートであ
る。カラーデジタル画像が、コンピュータシステムに駐
在するソフトウェアプログラムに入力される。このよう
なコンピュータシステムはこの技術分野ではよく知られ
ている。デジタル画像のコード値は、望ましくは元の風
景画像を捕えるために用いたフィルムの露光量の対数に
比例する（Ｓ２）。プログラムは、全ての独立した連続
的な肌色の領域を画像の中から識別し（Ｓ４）はじま
る。

【００１４】図３に、図２のステップＳ４の詳細フロー
チャートを示す。第一に、カラー画像の赤、緑、青の値
をＬＳＴ色空間に変換する（Ｓ４ａ）。この時に使う関
係は、

【数１】

【数２】

【数３】である。ここで、Ｒ、Ｇ、Ｂは、それぞれカラー画像の
画素の赤、緑、青のコード値である。

【００１５】次のステップでは、３次元柱状図を構築す
る。柱状図の大きさを縮小するために、第一にＬ、Ｓ、
Ｔのコード値をそれぞれ８．０x√（３）、２．０、
２．０で割り量子化する（Ｓ４ｂ）。これらの量子化さ
れたコード値をＬ’、Ｓ’、Ｔ’と呼ぶ。Ｌ’、Ｓ’、
Ｔ’の値のそれぞれの組合わせを柱状図の「ビン（ｂｉ
ｎ）」と呼ぶ。柱状図Ｈ（Ｌ’，Ｓ’，Ｔ’）の値（Ｓ
４ｃ）は、量子化したＬ’、Ｓ’、Ｔ’のコード値を持
つ画像内の画素数と等しい。つまり、柱状図は、画像内
のそれぞれのビンに分類される画素数を教えてくれる。
この数をビンの値と呼ぶ。

【００１６】それぞれのビンの値を、そのビンの値とそ
のすぐ隣のビンの値との重みつき平均に置き換え、柱状
図を滑らかにする（Ｓ４ｄ）。次に、柱状図のピーク値
が求められ（Ｓ４ｅ）、柱状図のそれぞれのビンは、一
番近い位置のピーク値を割り当てられる（Ｓ４ｆ）。最
後に、カラー画像のそれぞれの画素が柱状図のビンに割
り当てられ、それぞれのビンがピークに割り当てられた
ため、ピークがカラー画像のそれぞれの画素に割り当て
られる（Ｓ４ｇ）。画素のコード値が割り当てられたピ
ークの数と等しい単一帯画像を***画像と呼ぶ。

【００１７】***画像内の同じコード値を持つ連続的な
領域は、おそらくカラー画像の物体又は物体の一部に対
応する。一義的な番号（ラベル）が、***画像のそのよ
うな領域全てに割り振られる（Ｓ４ｈ）。この番号は、
最大の画素数の領域から１から順に割り振られる。コー
ド値が、画素が属する領域のラベルに対応する単一帯画
像を、標識付け画像と呼ぶ。

【００１８】プログラムはその後、***画像内の連続的
な領域のどれが人間の肌の典型的な色を持つカラー画像
の領域に対応するかを決定する。それぞれの領域のＬ、
Ｓ、Ｔのコード値の平均が計算され、これに基づきそれ
ぞれの領域に、評価Ｐ_skinを与える（Ｓ４ｉ）。高い値
のＰ_skinは、その領域の色が典型的な人間の肌であるこ
とを示す。その他に、低い値は領域の色が典型的な肌の
色ではないことを示す。Ｐ_skinが、０．１０に設定した
しきい値Ｔ_skinを上回る領域を肌色領域と呼ぶ（Ｓ４
ｊ）。

【００１９】最後の一つのステップが、カラー画像内の
それぞれの顔を一つの肌色領域と関連させるために必要
である。上記の処理では、一つの顔が一以上の肌色領域
と関連づけられる場合がある。これは、顔色、影、その
他の理由で、顔の色が均一でないからである。二つの肌
色領域は、二つの条件が満たされれば一つの肌色領域に
マージする（Ｓ４ｋ）。第一の条件は、二つの領域が相
互に連結していることを必要とする。領域ｉの画素が領
域ｊに連結するには、領域ｊに属する画素が、一番近い
８個の画素のうちの一つの場合である。関数Ｑ（ｉ，
ｊ）が計算され、この関数は、領域ｉと領域ｊの画素の
間の連結数に比例する。この関数を正規化し、Ｑ（ｉ，
ｉ）が１と等しくなるようにする。Ｑ（ｉ，ｊ）が、し
きい値ＭｉｎＭｅｒｇｅｒＦｒａｃｔｉｏｎを上回り、
第二の条件も満たされれば、領域ｉと領域ｊは、一つの
領域にマージする。しきい値は例えば、０．００５等を
使用する。二つ目の条件は、領域ｉと領域ｊの色の間の
距離、

【数４】が、４０．０に設定されたＭａｘＭｅｒｇｅＣｏｌｏｒ
Ｄｉｓｔａｎｃｅよりも小さいことである。

【００２０】肌色領域のマージ処理は、最小の領域から
始まり、もし二つの条件が満たされれば、より大きな領
域とマージする。もし領域ｉがより大きな領域ｊとマー
ジされた場合、その後、領域ｊが更に大きな領域ｋとマ
ージされることも十分考えられる。このような場合、領
域ｉ、領域ｊ、領域ｋが一つの領域にマージされる。こ
の時、領域ｉと領域ｋは、これらの二つの領域に対し上
記の二つの条件が満たされていなくてもマージすること
に注目したい。領域ｉと領域ｋは、相互に領域ｊと連結
していたのでマージした。

【００２１】肌色検出の結果、カラー画像の肌色領域の
地図ができる（Ｓ４ｌ）。肌色でない領域は、０のコー
ド値が与えられる。独立した連続的な肌色領域は、領域
の大きさが大きい順に１からはじまる番号を付けられ
る。図４は、図１の肌色領域の地図を示す。

【００２２】図２において、また図５に示すように、肌
地図（図４）からそれぞれの肌領域の全てを含む最小の
四角形の部分を切り出し、肌色領域の部分地図を形成す
る（Ｓ６）。例えば、図５の肌領域３０ｂは図４の肌領
域３０ａに対応する。図５は、それぞれの独立した連続
的な肌色領域を個々の部分地図として示す。部分地図の
左上の角に対応する肌地図の列と行を、それぞれＣｏｌ
_cutout、Ｒｏｗ_cutoutと呼ぶ。部分地図において、２５
５のコード値（白）は、その画素が肌色の存在する場所
に位置することを示す。０のコード値（黒）は、肌色の
不在を示す。

【００２３】図２において、また図６に示すように、次
のステップでは、ステップＳ６で発見された個々の肌色
部分地図（図５）に楕円形３５をフィッティングさせる
（Ｓ８）。楕円形を二値画像にフィッティングさせる方
法は、ロバート・Ｍ・ハラリックとリンダ・Ｇ・シャピ
ーロによるＣｏｍｐｕｔｅｒａｎｄＲｏｂｏｔＶｉ
ｓｉｏｎ，ＶｏｌｕｍｅＩ，Ａｄｄｉｓｏｎ−Ｗｅ
ｓｌｅｙ（１９９２），ｐｐ．６３９−６５８に記載さ
れている。人間の顔は、ほぼ楕円の形をしている。ゆえ
に、もし肌色部分地図が人間の顔であった場合、この楕
円形が肌色地図に上手くフィッティングするはずで、楕
円形の短軸が、ほぼ顔の幅と等しいはずである。楕円形
の肌色部分地図へのフィッティングの尺度は、

【数５】で表わし、ここでＮは地図内の肌色画素（コード値２５
５）数であり、Ｎ_outは、楕円形の外にある肌色画素
数、Ｎ_inは、楕円形内にある肌色画素数、Ａは、楕円形
内の画素数を表わす。Ａは又、楕円形の面積とも呼ばれ
る。もし全ての肌色画素が楕円形内にあり、肌色画素数
が楕円形の面積と等しい時、Ｆｉｔは１と等しくなり、
フィッティングは完全である。肌色画素が楕円形の外に
ある場合又は楕円形の面積がその中の肌色画素数よりも
大きい場合、Ｆｉｔの値は小さくなる。もしＦｉｔの値
が、０．７０に設定した所定の値ＭｉｎＥｌｌｉｐｓｅ
Ｆｉｔよりも小さければ、肌色領域は顔でないと判断
し、処理をそれ以上続けない（Ｓ１０）。

【００２４】肌色部分地図が顔であるかどうかのその他
の指標に、楕円形の縦横比ＡｓｐｅｃｔＲａｔｉｏがあ
り、

【数６】で表わされる。ここでＤ_majorは、楕円形の長軸、Ｄ
_minorは、楕円形の短軸を画素で表わしたものである。
もしＡｐｅｃｔＲａｔｉｏが、３．０に設定されたＭａ
ｘＡｓｐｅｃｔＲａｔｉｏよりも大きい場合、その肌色
領域は、画像内の、顔としては長すぎ細すぎる物体に対
応する。プログラムは、肌色領域が顔でないと決定し、
それ以上の処理を行わない（Ｓ１０）。

【００２５】もし肌部分地図の楕円形へのフィッティン
グが許容範囲内で、楕円形が、許容できる縦横比であっ
た場合、地図は潜在的に顔の位置を示す可能性がある。
次に、大きさ変更因子Ｓ_prescaleを計算する。これは、
数式

【数７】で表わされ、ここで、７５画素に設定されたＡｉｍＥｙ
ｅＤｉｓｔａｎｃｅは、眼の間の望まれる距離であり、
２．０に設定されたＦａｃｅＷｉｄｔｈＥｙｅＤｉｓｔ
ａｎｃｅＲａｔｉｏは、典型的な顔の幅と目の間の距離
との比である。もしＳ_prescaleが、０．１０のＭｉｎＰ
ｒｅｓｃａｌｅよりも小さかったり、１．５０のＭａｘ
Ｐｒｅｓｃａｌｅよりも大きかった場合、肌色領域はそ
れ以上処理されない（Ｓ１０）。次のステップでは、カ
ラー画像から、部分地図の位置に正確に対応する部分カ
ラー画像を切り出す（Ｓ１２）。もし楕円形の短軸がほ
ぼ顔の幅と等しいとすると、その顔の目の間の距離は、
ＡｉｍＥｙｅＤｉｓｔａｎｃｅに近いはずである。図７
は、このように大きさを変更した後の部分カラー画像４
０を示す。ここで、実際の画像がカラー画像であるのに
図７がグレースケール図として示されることに注目する
のが有益である。図８は、楕円形５０を示し、この楕円
形５０は、大きさを変更された部分カラー画像４０のそ
れぞれに対応する（Ｓ１４）。実際では、余分な行と列
を、大きさを変更した部分カラー画像及び部分地図の縁
に加えることが望ましく、これによりこれらの画像が更
に処理された時に範囲外の画素が扱われないようにす
る。画像の最上部及び最下部は、Ｐａｄ列によって詰込
まれ、右側及び左側は、Ｐａｄ行によって詰込まれる。

【００２６】ここで、顔の形状を持つ肌色領域が識別さ
れたので、赤目候補の位置を識別する（Ｓ１６）必要が
あり、図９に詳細を示す。図９において、部分カラー画
像４０が処理され、小さな赤い特徴を識別する。プログ
ラムは、新しい単一帯画像を定義することからはじまる
（Ｓ１６ａ）。この単一帯画像の画素値Ｘは

【数８】によって求められる。ここで、Ｒ、Ｇ、Ｂはそれぞれ部
分カラー画像の赤、緑、青のコード値を表わす。

【００２７】新しい画像の赤目は、高いコード値の小さ
な楕円形の領域としてあらわれる。低いコード値の小さ
な領域がその真ん中にあるかもしれない。これは、瞳孔
内のキャッチライトによるものである。キャッチライト
の影響は、グレースケール形態学的閉鎖（クロージン
グ）を実行し除去される（Ｓ１６ｂ）。この形態学的閉
鎖には、Ｗ＿ｃｌｏｓｅ×Ｗ＿ｃｌｏｓｅ核（カーネ
ル）、例えば（他の大きさを使用することもできるが）
３ｘ３核、を使用する。グレースケール形態学的閉鎖操
作は、ジョーン・セラによるＩｍａｇｅＡｎａｌｙｓ
ｉｓａｎｄＭａｔｈｅｍａｔｉｃａｌＭｏｒｐｈ
ｏｌｏｇｙＶｏｌｕｍｅ１，Ａｃａｄｅｍｉｃ
Ｐｒｅｓｓ（１９８２），ｐｐ．４２４−４７８に
記載されている。次に、高いコード値の小さな領域がグ
レースケール形態学的開放（オープン）操作によって除
去される。これは、Ｗ＿ｏｐｅｎ×Ｗ＿ｏｐｅｎ核（カ
ーネル）、例えば（他の大きさを用いることもできる
が）５ｘ５核を用いて行う（Ｓ１６ｃ）。その後、開放
画像が閉鎖画像から引かれ、残存画像を形成する（Ｓ１
６ｄ）。この画像は、開放画像にあって閉鎖画像にない
ものを示す。つまり、高いコード値を持つ小さな領域
で、部分カラー画像の小さな赤い特徴に対応するもので
ある。次に、残存（レジデュアル）画像が、線形フィル
タで滑らかにされる（Ｓ１６ｅ）。この核（カーネル）
は、

【数９】の形を持つ。平坦化した残存画像のそれぞれの画素に対
して、その画素を中心とした７ｘ７の窓（ウィンドウ）
が検査される。もし、その画素のコード値が、５に設定
されたしきい値、Ｔ_peakを上回り、さらに、その窓内の
ほかの画素全てのコード値以上であれば、その画素をピ
ークとして分類する（Ｓ１６ｆ）。図１０は、図７の全
ての部分カラー画像のピーク３７を示す。平坦化した残
存画像の全てのピークが発見された後、個々のピークが
検査される（Ｓ１６ｇ）。第一に、もし画素がピークと
分類され、この画素と西、北西、北、北東に隣り合う画
素もまたピークと分類されていた場合、このピークは除
去される（Ｓ１６ｈ）。

【００２８】ピークと分類された画素は、赤目画素候補
である。ただし、ピークの位置が、瞳孔のキャッチライ
トと一致し、赤い欠陥でない場合もある。この理由か
ら、ピークから、２に設定されたＧｌｉｎｔＲａｄｉｕ
ｓの距離内の画素が検査される（Ｓ１６ｉ）。赤目画素
候補は、最も高い色評価Ｐ_colorを持つ近くの画素に移
動される。この色評価Ｐ_colorは、後ほど定義される。

【００２９】次に、赤目画素候補を種として類似した色
の画素の連続的な領域を生長させる。もし領域の画素数
がＭｉｎＳｉｚｅよりも少ない場合又はＭａｘＳｉｚｅ
よりも大きい場合、その領域は、赤目欠陥の特徴の大き
さではなく、赤目画素候補は除去される（Ｓ１６ｊ）。

【００３０】上記の処理の結果は、それぞれの部分カラ
ー画像の赤目画素候補の地図となる（Ｓ１６Ｋ）。図８
の楕円形は、近似地図であり、図７の顔の可能性がある
と識別された部分カラー画像に対応する領域を示す。そ
の結果、楕円形内に位置する赤目画素候補のみが、図１
１に示す次の目検出段階で考慮される。

【００３１】図２に戻り、目検出の目的は、赤目画素候
補が実際に目の一部であるかどうかを決定することにあ
る。目検出処置は、カラー画像のモノトーン版を必要と
する（Ｓ１８）。次式を用いて、緑画素コード値を変換
することによって、コントラストが強められた後、カラ
ー画像の緑帯が使用される。

【００３２】

【数１０】ここでＧは緑帯のコード値で、γはパラメータで、２に
設定される。このカラー画像の単色（モノカラー）版を
輝画像（ルミナンスイメージ）と呼ぶ。

【００３３】目検出処置（図２のＳ２０）は、テンプレ
ートの一致処理に基づく。理解を容易にするために、目
のどのような画像でもテンプレートとして使用できるこ
とに注目する。図１２において、上部画像６０は、左目
のテンプレートを示す。下部画像７０は、テンプレート
を区域分けしたものを示す。区域１は、まゆの領域であ
る。区域２及び３は、それぞれ目の左側と右側である。
区域４は瞳孔及び虹彩を含む。区域０は使用されない。
目のテンプレートは、目の間の距離が３０６画素に等し
いＴｅｍｐｌａｔｅＥｙｅＤｉｓｔａｎｃｅで、二つの
目の傾きが０に近い画像から取られた。上述の通り、大
きさを変更したカラー部分画像内の赤目の一組は、ほぼ
ＡｉｍＥｙｅＤｉｓｔａｎｃｅの距離（７５画素）離れ
ているはずである。その結果、テンプレートを相応な大
きさで目と一致させるためには、

【数１１】の因子で大きさを変更する必要がある。

【００３４】実際には、楕円形の短軸から顔の幅を推定
することは必ずしも正確にはならない。また、目が傾い
ている場合もありうる。この理由のため、元の左目のテ
ンプレート及び区域地図から、左目、右目（左目の鏡
像）、大きさ及び方向の範囲に渡り、区域地図の集合が
生成される（Ｓ２２）。元の目のテンプレート及び区域
地図は、因子Ｓ₀×ＮａｒｒｏｗからＳ₀×Ｗｉｄｅまで
ＳＳｔｅｐ毎の増加量で大きさを変更される。Ｎａｒｒ
ｏｗ、Ｗｉｄｅ、Ｓｓｔｅｐの好適な値は、それぞれ
１．５、０．５０、０．０５である。それぞれの大きさ
変更因子に対する傾きを考慮するために、一連の傾いた
テンプレート及び区域地図が、−ＭａｘＴｉｌｔ度（右
回りの傾き）からＭａｘＴｉｌｔ度まで、ＴＳｔｅｐ度
毎の増加量で生成される（Ｓ２２）。ＭａｘＴｉｌｔの
好適な値は３０度で、ＴＳｔｅｐの好適な値は２．０度
である。

【００３５】図１１において、図２のステップＳ２０の
詳細フローチャートを示す。左と右の赤目組に属すると
仮定する赤目画素候補の一組を考慮する（Ｓ２０ａ）。
元の目のテンプレートに対する目のスケールは、赤目画
素候補間の距離に対して

【数１２】の数式で関係する（Ｓ２０ｂ）。ここでＬｐ（Ｒｐ）
は、左（右）の赤目画素候補の列、Ｌｌ（Ｒｌ）は、左
（右）の赤目画素候補の行である（列番号は１からはじ
まり、左から右にかけて大きくなる。行番号は１からは
じまり、上から下にかけて大きくなる）。赤目画素候補
間の傾きは、

【数１３】に示される（Ｓ２０ｂ）。

【００３６】上述のように、目のテンプレート及び区域
地図のテンプレートの集団が形成され、大きさ変更因子
がＳＳｔｅｐの解析度でＳ₀ｘＮａｒｒｏｗからＳ_oｘＷ
ｉｄｅまでの範囲に及ぶ。また傾きは、ＴＳｔｅｐの解
析度で−ＭａｘＴｉｌｔ度からＭａｘＴｉｌｔ度の範囲
に及ぶ。赤目画素候補の一組のＳ_pair及びＴｉｌｔの値
に一番近く一致する左目のテンプレート、右目のテンプ
レート、区域地図が、後続の相関ステップで使われる。
もしＳ_pair又はＴｉｌｔがこの範囲の外であれば、この
一組はそれ以上処理されない（Ｓ２０ｃ）。

【００３７】目のテンプレートが選択された後、次のス
テップは、赤目画素周囲の領域が目と一致するかの決定
である。これは、左目のテンプレートと輝画像（ルミナ
ンスイメージ）の左の赤目画素候補の周囲との相関、及
び、右目のテンプレートと右の輝画像の赤目画素候補周
囲との相関を実行し達成する（Ｓ２０ｄ）。相関処理の
一つのステップでは、テンプレートの画素と輝画像の画
素を一致させ、これらのコード値の積を求める。テンプ
レートの画像の中心は目の中心に対応する。赤目画素候
補は、目の中心に限らないが目の中心に近い位置にある
ので、赤目画素候補から３に設定されたＬｏｏｋＡｒｏ
ｕｎｄの距離の正方形の全ての画素にテンプレートの中
心をあわせ、数回相関を実行する。相関は、テンプレー
トの区域１から４（図１２を参照）まで個別に行う。こ
れらの相関を、Ｃ_z1、Ｃ_z2、Ｃ_z3、Ｃ_z4と呼ぶ。これに
加え、区域１から区域４までの和を含む領域に対する全
体的な相関が計算される。この全体的な相関をＣと呼
ぶ。赤目画素候補の周囲の正方形内の画素の中で、全体
的な相関Ｃが一番高い画素が、その赤目画素候補を含む
目の中心の最良の推測である。この画素を、目の中心画
素と呼ぶ。左と右の赤目画素候補の両方が、関連する目
の中心画素を持つ。

【００３８】ここから相関処理を詳細に説明する。テン
プレート像は、関数Φ（ｐ，ｌ）で表わされ、ここでｐ
は列番号、ｌは行番号である。テンプレートの列と行の
数はそれぞれｗとｈである。目のテンプレートの中心
は、ほぼ目の中心の位置にある。テンプレートの区域
は、列ｐ₀、行ｌ₀でΓ（ｐ，ｌ）で表わされる輝画像と
下記のように積Πを求め相関される。

【００３９】

【数１４】ここでｐ∈Ｚは列ｐが区域Ｚにあることを示し、ｌ∈Ｚ
は行ｌが区域Ｚにあることを示す。またＮ_zは区域内の
画素数である。区域Ｚ内のテンプレートの平均コード値
は、

【数１５】で求まり、これもまた計算される。これに加え、区域Ｚ
内のテンプレートの標準偏差は、下の式によって計算さ
れる。

【００４０】

【数１６】同様に、区域Ｚ内の輝画像の平均コード値を、

【数１７】を用いて計算する。また標準偏差を、

【数１８】を用いて計算する。

【００４１】上で定義された数を使い、区域Ｚ内の輝画
像とテンプレートの相関は、関係式

【数１９】で求まる。もし区域Ｚ内で、画像とテンプレートのコー
ド値が正確に一致した場合、Ｃ_zは１．０に等しくな
る。もし画像とテンプレートとに完全に相関がない場
合、Ｃ_zは０に等しくなる。

【００４２】目の中心画素のＣ、Ｃ_z1、Ｃ_z2、Ｃ_z3、Ｃ
_z4の値を用いて、評価を計算する。この評価は、赤目画
素候補の一組が部分カラー画像の赤目欠陥の一部である
ことの見込みの尺度である（Ｓ２０ｅ）。相関のそれぞ
れを変数として関連する評価関数で使用する。この評価
関数は、０．０から１．０までの範囲である。例えば、
全体的な相関Ｃに関連する評価関数は、ｐＣ（Ｃ）と呼
ばれ、もし目の中心画素のためのＣの値が、画素が実際
に目の中心に位置している可能性が非常に低いことを示
した場合、ｐＣ（Ｃ）は０．０になる。他方で、もしＣ
の値が目のテンプレートとの相関の典型的な範囲にあっ
た場合、ｐＣ（Ｃ）は１．０となる。さもなければ、ｐ
Ｃ（Ｃ）はその中間の値になる。評価関数ｐＣ（Ｃ）及
びその他の下述の評価関数は、図１３に示される。

【００４３】評価は、これらの評価関数に基づいて定義
され、後で結合し、赤目候補の組の全体的な評価とな
る。後続の数式は、全体的な相関Ｃに単純に関連する評
価Ｐ_co _rrを次式のように定義する。

【００４４】

【数２０】区域の相関と関連する評価、Ｐ_zoneは、複数の区域相関
評価関数の重みつき平均である。区域４（瞳孔）の相関
が目の存在の指標としてはその他の区域よりもはるかに
信頼できることが発見されている。この理由から、区域
４は他の区域よりも大きな重みを占める。典型的な重み
Ｗは、６．０に設定される。Ｐ_zoneは、

【数２１】で求まる。

【００４５】全体的な相関Ｃの計算処理の目的のため計
算された輝画像の標準偏差σΓは、目の中心画素に中心
を合わせた輝画像の特徴が、実際に目であるかどうかの
良い指標になることが発見されている。例えば、もしσ
Γが非常に低ければ、特徴は目にしてはコントラストが
低すぎる。これを考慮に入れて、σΓに関連する評価を

【数２２】と定義する。

【００４６】最後に、赤目画素候補の色は、本物の赤目
欠陥の指標でなくてはならない。この計算には、赤目画
素候補の赤、緑、青のコード値を、輝度（Ｌｕｍ）、色
相（Ｈｕｅ）、彩度（Ｓａｔ）値に変換する。輝度は、

【数２３】で計算する。画素のＬｕｍの値は、０から可能な限り最
高のコード値までの範囲をとる。彩度は、

【数２４】で求まり、０から１００の範囲をとる値である。色相
は、ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓＰｒｉｎｃ
ｉｐｌｅｓａｎｄＰｒａｃｔｉｃｅ２ｎｄｅ
ｄ．，Ａｄｄｉｓｏｎ−ＷｅｓｌｅｙＰｕｂｌｉｓ
ｈｉｎｇＣｏｍｐａｎｙ，ｐａｇｅ５９２に定義さ
れるものである。ただし、赤色が１２０度の色相角に移
されている。色相値は、０から３６０度までの範囲をと
りうる。赤目画素候補の色に関連する評価は、

【数２５】で定義される。

【００４７】赤目画素候補が実際に画像内の赤目欠陥で
ある見込みを示す評価Ｐ_eyeが結果である。この評価
は、

【数２６】で定義される。その値の範囲は０．０から１．０であ
る。性能指数Ｐ_eyeは、赤目画素候補の一組の左と右の
両方に対して計算される。これらの二つの値の平均は、

【数２７】によって求まる。Ｐ_pairが一番大きな赤目画素候補の組
を、赤目画素の最有力候補の組と呼ぶ（Ｓ２０ｆ）。も
しＰ_pairが、０．０５に設定されたしきい値ＭｉｎＥｙ
ｅＳｃｏｒｅを上回れば、プログラムは更に処理を進め
る。上回らない場合は、プログラムは、部分カラー画像
内に赤目の組は存在しないと結論を下す（Ｓ２０ｇ）。

【００４８】赤目画素の最有力候補の組が、実際にはカ
ラー画像内の赤目欠陥の目の一組の一部ではなかった場
合に、不正確に分類されてしまう可能性を最小限にする
ことが重要である。赤目の組が本当に発見されたことを
確認する方法の一つに、人間の顔は、顔を二等分する線
でほぼ対称であるという事実を使う方法がある（図２の
Ｓ２４）。これを実行するには、部分カラー画像を回転
し、赤目画素の最有力候補の組を結ぶ線の傾きが０に等
しくなるようにする。次に、両目の中間点を中心にした
画像が、部分カラー画像から切り出される。この画像
は、赤目画素候補の間の距離の１．５倍の幅も持ち、そ
の幅の４分の１に等しい高さを持つ。この画像が次には
半分に切られる。左半分の画像をＥ^x _left（ｐ，ｌ）と
呼び、右半分の画像をＥ^x _right（ｐ，ｌ）と呼ぶ。ここ
で、上付き文字ｘはカラー画像の帯を意味する。例え
ば、Ｅ^r _left（ｐ，ｌ）は、画像の赤帯（レッドバン
ド）を意味する。右半分の画像の列は、逆にされ（最初
の列が最後になる等）、それ自身の鏡像となる。Ｅ^x
_left（ｐ，ｌ）とＥ^x _right（ｐ，ｌ）の相関は、最初に
積の和を計算することで行う。

【００４９】

【数２８】ここでｐ及びｌに渡る加法は、それぞれ半分画像の全て
の列と行に渡り、Ｎは半分画像の画素数である。相関
は、

【数２９】によって求まる。ここでＭ^x _left及びＭ^x _rightは、半分
画像の帯（バンド）ｘの平均コード値で、σ^x _left及び
σ^x _rightは、標準偏差である。評価Ｐ_symは、対称評価
関数ｐＳｙｍ（Ｃ^x _sym）に基づき、

【数３０】で求まる。

【００５０】最終的な評価Ｐは、単純にＰｓｙｍとＰｐ
ａｉｒの積である。

【００５１】

【数３１】もし０．０から１．０の範囲持つこの評価が、０．０５
に設定されたしきい値ＭｉｎＳｃｏｒｅを上回る場合
（Ｓ２６）、赤目画素候補の組は、大きさを変更した部
分カラー画像内の赤目欠陥の一組の位置を示すものと決
められる。

【００５２】最後に、元のカラー画像の左と右の赤目欠
陥の位置が、大きさを変更した部分カラー画像の左と右
の赤目画素候補の位置から計算される。この時、

【数３２】

【数３３】の関係が使われる。ここでｐ及びｌは、大きさを変更し
た部分カラー画像の左の赤目画素候補の列と行を示し、
ｐ’及びｌ’は、元のカラー画像の対応する位置を示す
（Ｓ２８）。

【００５３】時には、二つの異なる肌色の領域が、楕円
形にフィッティングしたあとで重なるか、又は、非常に
近くなる場合がある。この結果、同一の赤目の組が二回
発見されたり、二組の赤目が両方とも本当に赤目の組で
あるには近すぎる距離で発見されたりすることもある。
この理由から、全ての赤目の組がカラー画像内に配置さ
れた後、何れかの二組が、ＭｉｎＩｎｔｅｒｐａｉｒＥ
ｙｅＤｉｓｔａｎｃｅよりも近くで赤目位置を持つかど
うかを決定する。このＭｉｎＩｎｔｅｒｐａｉｒＥｙｅ
Ｄｉｓｔａｎｃｅは２０画素に設定されている。このよ
うな場合、低い評価を持つ赤目の組が除去される（Ｓ３
０）。

【００５４】画像内で顔の可能性があるものの位置を決
定する処置を前述した（図１を参照）。この処置では、
ほぼ均一の色を持つ領域の色及び形状が検査された。こ
れに加えて、肌色の領域が顔かどうかを確認するにはそ
の他の方法が存在する。この方法は、顔は通常、目、ま
つげ、口を除いて肌であるという観察に基づく。これ
は、連続的な肌色の領域を示す図５に示される。肌の地
図の中に重要な穴があいていることに注目し、この穴に
は肌の色を持たない画素が位置する。これらの穴は目、
まつげ、口が位置する場所に存在する。まつげ及び口が
肌の地図に穴をあけない場合や、その他の画像の特徴が
追加の穴をあける場合が数多くある。肌色でない穴の数
は多くの理由により変化するが、穴の数に基づいて限界
を定めたり評価関数を割り当てることが有効である。通
常、もし肌色でない穴の数が１０以上であれば、連続的
な肌色の領域は顔でないと決定され、それ以上処理され
ない。

【００５５】図１４において、図９のステップＳ１６ｆ
からＳ１６ｋの単一の赤目欠陥を探す方法のその他の方
法を示す。図９のＳ１６ａからＳ１６ｅのステップの結
果、滑らかにされた残存像が生じ、原画像内の小さな赤
い特徴に属する画素に高いコード値を与えられ、全ての
他の特徴に低いコード値を与えられる。図１４のステッ
プＳ２４ａからはじまるアルゴリズムは、滑らかにされ
た残存像のピークを検査する。

【００５６】顔の肌色の領域の地図が図５のように形成
された時、目はその地図の一部にはならない。なぜな
ら、目で通常見つかる色は、肌で通常見つかる色とは異
なるからである。このため、ステップＳ２４ｂでは、ピ
ーク画素が、画像内の肌色領域の一部であるかを決定す
る。もしこの画素が肌色領域の一部であれば、プログラ
ムは次のピークに進む。もしピーク画素が、肌色領域内
に無い場合、プログラムは、次のステップＳ２４ｃに進
む。

【００５７】赤目欠陥は、顔の領域に存在しなくてはな
らない。通常、赤目欠陥は、顔の肌地図の穴の中に存在
する。しかし、もし顔が、その画像を捕えたカメラに対
して少し横顔の位置にあった場合、赤目欠陥は肌地図の
外に存在することもある。図２のステップＳ８に示すよ
うに、肌色領域の地図は楕円形にフィッティングされ
る。この楕円形を、最良適合楕円形と呼ぶ。顔に関連し
た赤目欠陥が、顔が横顔位置にあったために最良適合楕
円形の外に位置する場合もありうる。この理由のため、
拡張楕円形を、最良適合楕円形と同じ中心及び形状を持
ち、最良適合楕円形よりも大きな半径を持つ楕円形、と
定義する。通常、半径は最良適合楕円形の二倍の大きさ
である。ピーク画素はこの拡張楕円形の中に位置しなけ
ればそれ以上考慮されない。これを、図１４のステップ
Ｓ２４ｃに示す。

【００５８】ピーク画素が、カメラのフラッシュが目に
反射したことによる目の光に対応する赤目欠陥内に位置
することもある。この場合、画素の色は、明るい中間色
になる。ピーク画素の近くの、赤目欠陥の色を持つ画素
を発見することが望ましい。この理由から、ステップＳ
２４ｄでは、ピーク画素の周囲ＧｌｉｎｔＲａｄｉｕｓ
の半径内の画素が検査される。もし赤目欠陥の一部であ
ることの色に基づいて、０ではない確率（下に記載す
る）を持つ画素が発見できなければ、次のピーク画素に
移る。そうでなければ、検査した画素を選択する。

【００５９】ステップＳ２４ｄで選択されたこの画素
を、生長画素と呼ぶ。これは、この画素を使って、完全
な赤目欠陥に対応する画像の領域を生長させるためであ
る。しかし、第一に、ステップＳ２４ｅで、生長画素が
すでに処理されているかを決定する。もし処理されてい
たならば、次のピーク画素を考慮する。

【００６０】ステップＳ２４ｆでは、生長画素が種とし
て用いられ、画素の結合した領域を生長させる。この画
素の全ては、生長画素からある所定の色の距離内にある
色を持ち、０ではない赤目色確率を持つ。この生長した
領域は、赤目欠陥候補である。ステップＳ２４ｇにおい
て、赤目欠陥候補の色の平均が計算される。

【００６１】次の一連のステップは、いくつかの特徴に
基づき赤目欠陥候補に評価を与えることを伴う。第一
は、赤目欠陥候補を発見するために使われた残存像のピ
ーク画素のコード値である。このコード値は、原画像の
可能な限り最大のコード値で割ることによって正規化さ
れる。例えば、８ビット画像の場合ならば２５５で割
る。正規化されたコード値は、図１５（ａ）に示す評価
関数に基づき評価を与えられる（Ｓ２４ｈ)。グラフか
ら明らかなように、もし正規化されたピークの高さが０
と０．０２の間であれば、評価は０、０．０２と０．１
の間は評価が線形に増加し、０．１と１．０の間ならば
評価は１である。

【００６２】同様に、赤目欠陥候補の大きさ（画素数）
に基づき評価を与える（Ｓ２４ｉ）。この量に関連する
評価関数も、図１５（ｂ）に示される。

【００６３】図１４に戻り、ステップＳ２４ｊで、欠陥
に平均の色に基づき評価を与える。一以上の赤目欠陥を
含む約２００の画像を検査した。赤目画素をサンプリン
グし、同時確率関数が組み立てられた。これをρ（ｒｅ
／Ｙ，Ｈ，Ｓａｔ）と呼び、輝度Ｙ、色相Ｈ、彩度Ｓａ
ｔを持つ赤目欠陥画素の確率に比例する。この関数は、
最大値が１．０になるように正規化される。赤目欠陥候
補は、欠陥の平均の色のρ（ｒｅ／Ｙ，Ｈ，Ｓａｔ）の
値に基づき評価を与えられる。ρ（ｒｅ／Ｙ，Ｈ，Ｓａ
ｔ）の典型的な評価関数を、図１６（ａ）に示す。

【００６４】図１４に戻り、次のステップＳ２４ｋで
は、赤目欠陥候補を楕円形にフィッティングさせる。ス
テップＳ２４ｌでは、赤目欠陥候補に、楕円形のアスペ
クト比に基づき評価を与える。アスペクト比の典型的な
評価関数を、図１６（ｂ）に示す。ステップＳ２４ｍで
は、楕円形へのフィッティングの質に対しての評価が与
えられる。楕円形へのフィッティングの質の典型的な評
価関数を、図１６（ｃ）に示す。

【００６５】ここで赤目欠陥候補に、総合的な評価を与
えることができる（Ｓ２４ｎ）。この評価は、上記の全
ての評価の組合わせに基づく。それぞれの評価の和又は
平均を使うことも意図されているが、通常、この評価
は、それぞれの評価の積である。ここで、赤目欠陥候補
には、この評価に基づき等級付けした順番を与えること
ができる。

【００６６】後続のステップでは、赤目欠陥の組を探す
ことを伴うが、このステップを個々の赤目欠陥候補の中
の最高の評価のものからはじめ、アルゴリズムで検査す
ることが可能な赤目欠陥候補の組の総数の限界を設定す
ることが有効である。これにより、アルゴリズムの実行
時間が望まれないほど大きくなることを防止する。アル
ゴリズムの実行時間が大きくなるのは、多数の赤目欠陥
候補が存在する場合である。これにより、最良の候補を
限界を超える前に検査する。

【００６７】本発明の主目的は赤目の組の発見である
が、時には、赤目欠陥が単一で存在する場合がある。こ
れは、片方の目が覆い隠された場合や、なんらかの理由
で赤目現象を起こさなかった場合である。この時点での
処置は、単一の赤目欠陥を発見するのに適する。なぜな
ら、この時点では、赤目欠陥が通常は組になって存在す
るという事実は使われていないからである。

【００６８】図１７及び図２０において、同時に二つの
赤目欠陥候補を処理する方法を示す。この処理では、こ
れらの候補が実際に赤目欠陥の一組であるかを決定す
る。この方法は、図１１に示す方法の代わりとなる実施
形態である。画像の多数の特徴が、赤目欠陥と間違える
ことを理解すべきである。例えば、クリスマスツリーの
赤い装飾品等である。本発明の主な目的である赤目欠陥
を人間の介入なしに検出できることへの鍵は、赤目欠陥
が組で存在すし、その組には二つの欠陥がお互いに存在
し、二つの欠陥が位置するところ又はその近くに肌色領
域が存在するという一貫性が要求されることである。

【００６９】図１７のステップＳ３０ａでは、プログラ
ムは、図１４に示される一連のステップから取得した赤
目欠陥候補からはじめる。この時点で、それぞれの候補
が、その色、大きさ、形状によって評価を与えられ、こ
の評価は、候補が実際の赤目欠陥である確率に関連す
る。ステップＳ３０ｂでは、プログラムは、赤目欠陥候
補を左の赤目欠陥候補として選択し、右の赤目欠陥候補
と呼ばれるその他の欠陥候補と組にする。この時点で、
プログラムは左の候補が、画像の直立した顔を見た時の
左の赤目欠陥であると仮定し右の候補が右の赤目欠陥で
あると仮定する。

【００７０】ステップＳ３０ｃでは、プログラムは、原
画像の左と右の欠陥の間の距離が、画素単位で、通常３
０に設定されたＭｉｎＥｙｅＤｉｓｔａｎｃｅ以上かど
うかを決定する。もし距離がこの値よりも少なかった場
合、候補が実際に赤目欠陥であっても小さすぎるため
に、目立たなくなる。このため、この組に対する処理を
止め、次の組に移る。

【００７１】ここで、前述したように、画像は大きさを
変更され、もし肌色領域が本当に顔であるならば、目の
間の距離が、通常７５画素に設定されたＡｉｍＥｙｅＤ
ｉｓｔａｎｃｅとほぼ等しくなる。ステップＳ３０ｄで
は、組が、そ距離とＡｉｍＥｙｅＤｉｓｔａｎｃｅとの
比に基づき評価を与えられる。

【００７２】赤目欠陥候補の一組が、実際に赤目かを決
定する強力な手段として、それらの性質が一貫している
かを決定することがある。これを下に詳細に示す。この
目的のために、質（量）Ｘの一貫性の尺度Ｃは、

【数３４】によって定義される。ここでＸ_lは左の赤目欠陥候補の
質（量）の値であり、Ｘ_rは右の欠陥候補の値である。
Ｃの値が小さいほどＸの質（量）はより一貫する。

【００７３】赤目欠陥の色は画像によってカラーバラン
スの違いにより、かなり変化することがある。また、赤
目欠陥の色の変化は、人によっても存在する。しかし、
二つの赤目欠陥が顔に存在した場合、その色はお互いに
一貫しているはずである。図１７のステップＳ３０ｅで
は、プログラムは赤目欠陥候補の組に、それらの色の一
貫性に基づき評価を与える。通常、Ｃの値が増加するに
つれ、評価は減少する。

【００７４】左と右の欠陥候補の大きさは、ほぼ同じは
ずである。ステップＳ３０ｆでは、左と右の欠陥の大き
さの一貫性に基づき、評価を与える。

【００７５】顔の目の間の距離を与えられた場合、目の
瞳孔の大きさに限界を定めることが可能になる。左と右
の赤目欠陥候補の間の距離を使い、名目上の瞳孔の大き
さを計算することができる。例えば、もし目の間の画素
数に０．０８３をかけた場合、積の二乗が、ほぼ瞳孔の
画素数と等しくなる。もちろん瞳孔の大きさは、周囲の
光のレベルやその他の要因によって変化するが、赤目欠
陥内の画素数は、名目上の大きさの瞳孔内の画素数と、
約３の因子内でほぼ一致すべきである。ステップＳ３０
ｇでは、左と右の欠陥の両方に、それらの大きさと名目
上の瞳孔の大きさとの比に基づき評価を与える。

【００７６】大半の場合、画像の方向性は未知である。
例えば、カメラを直立させて写真を撮ったのかも知れな
い。この場合、画像は、図１８（ａ）に示すように横長
の方向になる。その他に、カメラは横向きになっていた
かもしれない。この場合、画像は、図１８（ｂ）及び１
８ｃに示すように縦長の方向となる。カメラの方向に加
え、画像内の人のポーズが、赤目欠陥の組の方向に影響
を及ぼす。例えば、カメラが直立した状態で撮られた画
像内の、横になっている人の目は、図１８（ｂ）に示す
ような方向になる。

【００７７】図１７のステップＳ３０ｈの目的は、赤目
欠陥候補の組と関連する可能性のある赤目欠陥の組の方
向を推論することである。図１８（ａ）において、角度
Θは、左の赤目欠陥候補を通る水平線ａと両方の赤目欠
陥候補を通過する線ｂとの間の角度と定義される。Θ
は、線ｂが線ａから逆時計回りの方向であれば、正とな
る。もしΘの絶対値が、通常３０度に設定されたＭａｘ
Ｔｉｌｔ以下であれば、方向性は、図１８（ａ）に示す
画像のようであると決める。もしΘ＋９０の絶対値が、
ＭａｘＴｉｌｔ以下であれば、方向性は、図１８（ｂ）
に示す画像のようであると決める。最後に、もしΘ−９
０がＭａｘＴｉｌｔ以下であれば、方向性は図１８
（ｃ）に示す画像のようであると決める。本発明の目的
は赤目欠陥の組を検出することであって、どちらの欠陥
が左でどちらの欠陥が右の目であることを決定すること
ではない。このため、もし欠陥の組が図１８（ｂ）のよ
うな方向であって、図１８（ｃ）のような方向性を持つ
と間違えられても問題はない。

【００７８】もしΘが、上記の三つの条件のうちの一つ
を満たすならば、赤目候補の組の、画像の水平線に対す
る傾きはＭａｘＴｉｌｔ以下である。この場合（図２０
のステップＳ３０ｉを参照）、赤目画素候補の組は、更
に処理される。そうでなければ、次の組を考慮する。

【００７９】図２０のステップＳ３０ｊでは、前述した
ように、左と右の赤目欠陥候補の周囲の領域が、左と右
の目のテンプレートに相関させられる。テンプレート
は、決められた方向、赤目欠陥候補の間の距離、それら
の相対的な傾きに基づき選択される。相関値に基づき評
価が与えられる。

【００８０】ステップＳ３０ｋでは、左と右の赤目欠陥
候補の周囲の領域の輝度の標準偏差の一貫性に基づき評
価を与える。前述したように、この標準偏差は、相関の
計算過程で計算される。

【００８１】最後に、ステップＳ３０ｌでは、赤目欠陥
候補の組の総合的な評価が計算される。総合的な評価
は、望ましくは、上記の全ての評価の組合わせである。
例えば、総合的な評価が個々の評価の積と等しい。この
ステップの後、プログラムは、図１７のステップＳ３０
ｂに戻り、次の赤目欠陥候補の組に対して処理を繰返
す。場合によっては、処理できる組の数に限界を定める
ことが望ましい。これにより、赤目欠陥候補数が非常に
大きい場合に実行時間が長くなりすぎることを防ぐ。

【００８２】最高の評価を持つ赤目欠陥候補の組が更に
処理される。前述するように、赤目欠陥候補の組付近の
画像の領域の、赤目欠陥候補をつなぐ線を二等分する線
での鏡対称が計算される。対称に基づき、組に評価を与
える。

【００８３】赤目欠陥候補の組が実際に赤目欠陥の組だ
と確認する更なる方法として、人は二つよりも多くの目
を持たないという事実を使う方法がある。つまり、赤目
欠陥候補の組には、その組の欠陥に類似した特徴を持つ
更なる画像が存在しないはずである。赤目欠陥候補の組
に、近くに存在する他の赤目欠陥候補に基づき評価を与
える。この評価は、近くの候補数が増加すると減少す
る。

【００８４】上述の、ステップＳ３０ｌで計算された評
価、対称評価、余分な欠陥候補評価の組合わせで修正評
価が計算される。好適には、評価は、乗法で組み合わさ
れる。もしこの結果の評価が何らかのしきい値を上回れ
ば、赤目画素候補は、赤目欠陥の組と分類され、その色
を訂正する。

【００８５】図１９において、本発明の全体像を示す。
デジタル画像１００をデジタル画像処理し（２００）赤
目欠陥を検出する。その結果３００を使い、画像を検出
ステップで取得した位置で選択的に修正する（４０
０）。この結果、幾つかの又は全ての赤目欠陥が訂正さ
れた修正デジタル画像ができる（５００）。

【図面の簡単な説明】

【図１】赤目を示す線図である。

【図２】本発明のソフトウェアプログラムを示す総フ
ローチャートである。

【図３】図２における連続的な肌色領域の決定部分を
示す詳細フローチャートである。

【図４】図１の二値表示であり、肌色領域を示す図で
ある。

【図５】図４の個々の連続的な色領域を示す詳細図で
ある。

【図６】図５にフィッティング楕円形を示す図であ
る。

【図７】大きさを変更した顔領域候補を示す図であ
る。

【図８】図７に適合させた顔領域候補に対応する大き
さを変更した楕円形を示す図である。

【図９】図２の赤目候補決定部分を示す詳細フローチ
ャートである。

【図１０】図７の赤目欠陥候補を示す図である。

【図１１】図２の目検出部分を示す詳細フローチャー
トである。

【図１２】目のテンプレート及び区域地図を示す図で
ある。

【図１３】本発明の評価関数を示す図である。

【図１４】画像内の顔の位置を発見するその他の方法
を示す図である。

【図１５】評価関数を示す図である。

【図１６】評価関数を示す図である。

【図１７】赤目欠陥組検出方法の前半を示す図であ
る。

【図１８】異なる画像方向を示す図である。

【図１９】本発明の全体像を示す図である。

【図２０】赤目欠陥組検出方法の後半を示す図であ
る。

【符号の説明】

１０グレースケール画像、２０赤目組、３０ａ肌
領域、３０ｂ肌領域、３５楕円形、４０部分カラ
ー画像、５０楕円形、３７ピーク、６０画像、７０
画像、２，３，４区域。

Claims

【特許請求の範囲】

【請求項１】フラッシュ照明による画像内対象の目の
色の欠陥検出方法であって、（ａ）デジタル画像内の肌色の領域を検出するステップ
と、ップと、（ｂ）前記肌色の領域が、所定の人間の顔の特徴を備え
ているかを決定するステップと、（ｃ）赤目欠陥候補の特徴と検出された人間の顔の特徴
とを比較し、人間の顔の中又は人間の顔の隣りの前記赤
目欠陥候補の一組を検出するステップと、（ｄ）ステップ（ｃ）の結果に基づき前記赤目欠陥候補
を実際の赤目欠陥として選択するステップと、を含むこ
とを特徴とする目の色の欠陥検出方法。
【請求項２】フラッシュ照明による画像内対象の目の
色の欠陥検出及び訂正方法であって、（ａ）デジタル画像内の肌色の領域を検出するステップ
と、（ｂ）前記肌色の領域が、所定の人間の顔の特徴を備え
ているかを決定するステップと、（ｃ）赤目欠陥候補の特徴と検出された人間の顔の特徴
とを比較し、人間の顔の中又は人間の顔の隣りの前記赤
目欠陥候補の一組を検出するステップと、（ｄ）ステップ（ｃ）の結果に基づき前記赤目欠陥候補
を実際の赤目欠陥として選択するステップと、（ｅ）前記赤目欠陥を訂正するステップと、を含むこと
を特徴とする目の色の欠陥検出及び訂正方法。
【請求項３】フラッシュ照明による画像内対象の目の
色の欠陥の検出及び訂正方法であって、（ａ）赤目欠陥の組内における前記赤目欠陥の組の方向
に関連するそれぞれの欠陥の特徴に基づき赤目欠陥の一
組を検出するステップと、（ｂ）前記赤目欠陥の一組を訂正するステップと、を含
むことを特徴とする目の色の欠陥の検出及び訂正方法。