JP4693694B2 - 赤目検出及び補正方法及び装置 - Google Patents

Description

本発明は、画像処理の、赤目検出及び補正に関し、本発明の例示的な実施形態は、デジタル画像の赤目の自動補正に関連して具体的な用途を見出す。

赤目は写真画像における一般的な問題である。それはフラッシュが用いられた時にはいつでも起こり、ヒトの網膜から反射された光が、瞳を本来の色ではなく赤色に見せる。カメラメーカーはこの問題を認識し、カメラに、実際の撮影完了の直前に１つ又はそれ以上のプリフラッシュ光を発する機能を装備することで、赤目を最小にするか又は防止する試みを行ってきた。これらのプリフラッシュは、被写体の瞳孔を縮小させて、網膜へ入射しそこから反射される光を最小にすることを意図されている。プリフラッシュ・ハードウェアを装備したカメラは赤目問題を軽減することが可能であるが、常に赤目アーチファクトが防止されるわけではないことから、常に好評を得ているわけではない。それらはまた、多大なエネルギーを消費し、シャッタボタンを押すことと写真を撮影することとの間に顕著な遅延をもたらし、結果として人々が瞬きすることになる傾向がある。内蔵フラッシュを備えたカメラがより小型に製造されるにつれて、赤目は、より一般的且つ深刻になってきた。フラッシュのビルトイン性と併せた小型化は、フラッシュを対物レンズに近接して設置することを要求する。従って、被写体の網膜からの反射光のより多くの部分が対物レンズに入射し、記録される。

米国特許第５１３０７８９号明細書 米国特許第５１５３６３２号明細書 米国特許第６７２８４０１号明細書

画像を走査して赤目を含む画像を形成（マーキング）し、更なる処理を行う、画像中の赤目の検出及び補正技術が開発されてきた。色、大きさ（サイズ）、及び形状の基準に基づいて赤目を検出し、補正を適用することを目指した自動処理法が開発されてきた。赤色は非常に一般的であること、また非常に多くの画像においては赤目は存在しないこと（例えばフラッシュを用いずに撮影されたもの、ヒトの被写体を含まないもの、など）を考慮すると、偽ポジ（false positive）の結果が出るのはよくあることである。

本発明の例示的な実施形態の１つの態様においては、画像処理方法が提供される。この方法は、デジタル画像中の複数のピクセルの各々について、ピクセルが赤目内に入る確率を、そのピクセルの色の関数として、ピクセルに割当てることを含み、次に、前記複数のピクセルの各々について、前記ピクセルに適用する補正を決定することを含む。その補正は、ピクセルが赤目内に入る前記割当て済み確率とそのピクセルの色の関数である。

ピクセルが赤目の中にある確率Ｐは、デジタル画像内の全てのピクセルに割当てることができる。確率Ｐは、デジタル画像全体にわたるように大きさ合わせ（スケール合わせ）することができる。確率Ｐは、０から最大値までの値を持つことができる。確率の割当ては、ピクセルの赤色成分、緑色成分、及び青色成分の関数である赤み（redness）確率を求めることを含む。確率Ｐは、そのピクセルが緑色又は青色であるよりも赤色に近い程度（extent）の関数とすることができる。確率Ｐの割当ては、そのピクセルが緑色又は青色であるよりも赤色に近い程度の関数であり、且つそのピクセルが明るさよりも赤みの方が強い程度の関数である、赤み／輝度確率を割当てることを含むことができる。ピクセルに関する赤み／輝度値の割当ては、そのピクセルの赤色成分値から緑色成分値及び青色成分値の平均値を減算して赤み値を求めること、及びそのピクセルの赤色成分、青色成分、及び緑色成分の重み付けされた（weighted）和を減算することによって赤み値を更に低減することを含むようにできる。画像内の複数のピクセルは、０から１の間の確率Ｐを割当てられることができる。ピクセルの補正は、赤目確率Ｐが所定の閾値を上回っている、例えば０より大きい（＞０）といったピクセルの赤色成分値を、補正済み赤色成分値に置き換えることを含むようにできる。補正済み赤色成分値は、そのピクセルの赤色成分、緑色成分、及び青色成分の関数とすることができ、またそのピクセルが赤目の中にある割当て済み確率の関数とすることができる。

画像は、元（オリジナル）の画像の低解像度画像であってもよい。この方法は、低解像度画像を形成すること、及び元の画像中のピクセルに適用するべき補正であって、ピクセルの各々についての、対応する低解像度画像中のピクセルが赤目の中にある割当て済み確率と元の画像中のピクセルの色の関数である補正を決定すること、を更に含む。この方法は、画像において、少なくとも１つの赤目試験を満たすいずれかの連続ピクセル領域を識別することを更に含む。少なくとも１つの試験は、領域の大きさ（サイズ）と、領域の形状と、少なくとも閾値確率Ｐを有するピクセルを含む領域との重なりの程度と、から成る群のうちの１つに関連し、且つ識別された領域中の複数のピクセルの各々について、割当て済み確率Ｐ及びピクセルの色の関数である、ピクセルに適用するべき補正を決定することに関連する。領域の識別は、そのピクセルが位置する連続領域の円形度と関連を持つ空間特性に合致したピクセルを識別することと、空間特性に合致するものとして識別された連続ピクセルを含んでいる画像内のいずれかの領域を識別することと、を含むことができる。この方法は、各々がピクセルを中心とする異なった半径の円内に存在している複数のピクセルの組について、確率値を求めることを更に含むことができる。少なくとも１つの試験を満たさない領域にあるピクセルは、０である確率Ｐを割当てられる。少なくとも１つの赤目試験は、デジタル画像の大きさに対する領域の大きさを評価することができる。少なくとも１つの赤目試験は、少なくとも１つの、領域が小型である程度、及び、その領域が等しい高さ及び幅を持つ程度を評価することができる。ピクセルに確率Ｐを割当てること、画像内の少なくとも１つの赤目試験を満たす連続ピクセル領域を識別すること、ピクセルに適用するべき補正を決定することは、自動的に行うことができる。

別の態様においては、画像の補正のためのシステムは、デジタル画像中の複数のピクセルについて、最小値から最大値まで変動する値を持つ、ピクセルが赤目の中にある確率を割当てる検出モジュールを含む。補正モジュールは、割当て済み確率とピクセルの色の関数である、ピクセルに適用すべき補正を割当てる。

このシステムは、あるピクセルが位置する領域が少なくとも１つの赤目試験に合致するかどうかを決定するモジュールを更に含むことができ、補正モジュールは、少なくとも１つの試験に合致した領域中のピクセルのための補正を決定する。検出モジュールは、複数のピクセルの各々に円形確率の割当てを行う部品を更に含むことができる。

別の態様においては、デジタル画像処理方法は、デジタル画像中の複数のピクセルの各々について、ピクセルの赤目入り確率を、そのピクセルの色の関数として、ピクセルに自動的に割当てることと、画像中の少なくとも一部のピクセルに適用するための補正であって、ピクセルの各々についての、ピクセルが赤目の中にある割当て済み確率とピクセルの色の関数である補正を、自動的に決定することを含む。

本発明の例示的な実施形態の態様は、デジタル画像中の赤目に対処するためのシステム及び方法に関する。そのシステムは、画像処理段階において完全に自動化された赤目の検出及び補正を可能にし、プリフラッシュ・ハードウェア及びそれに関連する欠点を排除できるようにする。処理される画像は、デジタルカメラ、スキャナ、デジタルビデオレコーダなどのようなデジタル画像形成装置によって生成されることがある。例示的な検出・補正システムは、デジタル画像形成装置に組み入れるか、又は、パーソナル・デスクトップ・コンピュータ、ラップトップコンピュータ、或いは現像装置のような専用イメージ処理システムといった、デジタル画像形成装置から独立した適切な画像処理装置に格納することができるソフトウェアを含んだ、処理モジュールを含む。処理される画像は、デジタル形式とするか、又は、処理に先立ってデジタル形式に変換することができる。画像データは、赤色、緑色、青色（ＲＧＢ）の色空間などの色空間で表現される複数のピクセル値によって定義することが可能であり、又はこれに変換することができる。

デジタル画像中の赤目を処理するための１つの例示的な方法は、ファジィ（ソフト）赤目検出ステップと、ファジィ（ソフト）赤目補正ステップとから成る。よって、あるピクセルが赤目の中にあるかどうかについて厳格な（イエスかノーか）決定を下す代わりに、各ピクセルには、それが赤目の中にある尤度に一般に対応する値が割当てられ、補正プロセスは、補正される各ピクセルは個々に与えられた確率に従って補正されるというソフトな補正を含む。

図１においては、例示的な方法の要素が図示される。この方法は、これより少ないステップ又は多くのステップを含むことができること、及びステップは図示された順番で行われなくてもよいことを理解されたい。この方法は、画像処理装置により画像を受信したときに開始する（ステップＳ１０）。画像は、ＤＶＤ、ＣＤＲＯＭ、又はフレキシブルディスクのようなディスク、又は他の画像格納メディアに格納するか、又は一時的に画像処理装置のメモリに転送して、処理することができる。

処理ステップの数を減らすために、赤目検出に先立ち、画像の解像度を低くして１メガピクセルなどの標準化されたピクセル数にしてもよい（サブステップＳ１２）。ファジィな検出ステップ（Ｓ１４）においては、このシステムの検出モジュールは、デジタル画像のピクセルを、そのピクセルの１つ又はそれ以上の色及び空間特性に基づいて評価する。色の評価においては、検出モジュールは、ピクセルの赤み（redness）と輝度（明るさ）を考慮し、これらの確率のうちの１つ又は両方、又は組み合わされた確率を表す確率値を割当てることができる（サブステップＳ１４Ａ、Ｓ１４Ｂ、Ｓ１４Ｃ、Ｓ１４Ｄ）。赤みと輝度の間の関連性を考慮に入れることは、赤目が通常は明るさよりも赤みの方が強いのに対し、赤みよりも明るさの方が強い肌や顔面といった偽ポジ（false positive）の大部分を（低い確率を割当てることにより）排除することを可能にする。空間特性（空間的円形度）の評価（サブステップＳ１４Ｅ）は、ピクセルに、そのピクセルを囲む領域の円形度に関連する確率を割当てることを含む。ステップ（Ｓ１４Ｅ）において割当てられた確率は、画像全体に関して取得された確率にわたって正規化することができる。

輝度に代わるものとして、例えば局所的コントラストのような、一般に赤目と関連付けられている何らかの他の特性（コントラストを形成する色及び／又は明るさを持った領域の隣接領域にそのピクセルがあるか否か）を評価することが可能である。

この実施形態の態様においては、画像の中で最も赤目である可能性が高い領域に集中するための１つの方法として、赤み確率ｐＲ１及び赤み／輝度確率ｐＲ２が求められる（サブステップＳ１４Ａ及びＳ１４Ｂ）。赤み／輝度確率ｐＲ２は、ステップＳ１４Ａにおいて求められた赤み確率ｐＲ１を組み入れることが可能である。確率ｐＲ１と確率ｐＲ２の何らかの関数である組み合わされた確率ｐＲを求めて、少なくとも、それらの色及び輝度から見て赤目である最小の確率を有する領域を識別することが可能である（サブステップＳ１４Ｃ）。その出力は、画像中の全てのピクセルに関するｐＲの確率マップである（サブステップＳ１４Ｄ）。次いで、ピクセルのｐＲ３値により識別された領域のピクセルに関する円形確率（ｐＳＣ）が求められ、各ピクセルに割当てられ、これは、赤目の可能性がある領域は、実際の場面では、赤目の可能性がない領域に囲まれているという原則に基づいている（サブステップＳ１４Ｅ）。次いで、残された赤目の可能性がある領域に更なる試験を適用して、偽ポジを排除することができる（ｐＳＣ＋試験）（サブステップＳ１５Ａ及びＳ１５Ｂ）。更なる試験を、残された赤目であることが予測される全ての領域に適用して、一層多くの偽ポジを排除することができる。残された領域について、次いで、ｐＲ２値などの確率値が用いられて、予測される赤目の赤色成分を修正（低減）する（ステップＳ１６）。このステップは、適用されるべき赤目補正を決定すること（ステップＳ１６Ａ）、及び赤目に対して、例えば元の画像を「赤色低減」画像と混合するなどして補正を行うこと（サブステップＳ１６Ｂ）を含む。ｐＲ２は、ｐＲ１又はｐＲに比べ、確率及びピクセルから赤色成分を低減するための赤みの量をより良好に反映するが、補正ステップはこれらの確率値を使うこともできることが考慮されている。

画像中のピクセルの全て又は圧倒的多数は、赤み確率（ｐＲ１）（サブステップＳ１４Ａ）、赤み／輝度確率（ｐＲ２）（サブステップＳ１４Ｂ）、及び、円形確率（ｐＳＣ）（サブステップＳ１４Ｃ）の３つの特徴に関して評価することができるが、また、検出ステップは必ずしも全てのピクセルについて各確率ｐＲ１、ｐＲ２及びｐＳＣを計算しなくともよいことが考慮されている。例えば、ｐＲ１及び／又はｐＲ２が最小閾値、即ち、低いか又はゼロである（即ち赤目である可能性が低いことを示唆する）値を下回った領域又は個々のピクセルについては、ｐＳＣを計算しなくともよい場合がある。ステップＳ１４の出力は、評価された各ピクセルについての、そのピクセルが赤目の中にある確率（Ｐ）（サブステップＳ１４Ｆ）を表す確率マップとすることができる。この確率マップに基づき、赤目である確率が高い領域が識別され（ステップＳ１５）、後続の補正ステップは、これらの領域中の各ピクセルの色を個別に修正する（ステップＳ１６）。結果として、ある赤目中の１つのピクセルに適用された補正は、その赤目中の別のピクセルに適用された補正と異なる場合がある。

各ステップにおいて、大きさ合わせ（正規化など）を行って、いずれかのピクセルが０を上回る値を持つ画像について、画像全体にわたる最大値が１になるようにすることができる。大きさ合わせは、最大値で割ることによって達成できるが、他の非直線的な大きさ合わせもまた考慮されている。後続の各処理サブステップ（Ｓ１４Ｂ、Ｓ１４Ｃ、Ｓ１４Ｄ、Ｓ１４Ｅ）は、先行サブステップの出力に依存し、これを向上させることができる。

赤目が発生する画像に関して、ステップＳ１４Ｅで生成された確率マップはバイナリではなく、０から１までの値（又は他の割当て済み最大値及び最小値）を含み、ここで０はそのピクセルが赤目の中にある確率が最も低いことを表し、１はそのピクセルが赤目の中にある確率が最も高いことを表す。０と１の間の値は、０には黒色が対応し、１には白色が対応するように、グレーレベルとして概略的に示すことができる。上述されたように、この確率は、色属性（例えば赤み）、輝度、及び空間的円形度のような１つ又はそれ以上の異なるピクセル特徴の組み合わせとすることが可能である。

ピクセルの色（赤み確率）ｐＲ１（ステップ１４Ａ）は、そのピクセルの赤色成分の程度から決定することが可能であり、赤色成分を、緑色成分や青色成分といった、ピクセルの色空間の補色成分と比較するのを含むのが好ましい。使われるカラースケールにより、色成分は、数値として表すことが可能であり、数値が高くなるほど、彩度が高くなる。例えば、ＲＧＢ色空間においては、ピクセルの色は、各々が例えば０から２５５までの数値を割当てられている、赤色成分、緑色成分、及び青色成分との関連で定義される。赤み確率は、これらの各数値を考慮に入れてもよく、また赤色成分だけを考慮に入れてもよい。１つの実施形態において、あるピクセルが「赤みがかっている（Reddish）」程度（Ｄ）は、以下の式を用いて、緑色値（Ｇ）と青色値（Ｂ）との平均をピクセルの赤色値（Ｒ）から減算することにより決定される。
赤み値（Reddish）：（Ｄ）＝Ｒ−（Ｇ＋Ｂ）／２ （式１）

赤であるピクセルの赤み確率（ｐＲ１）は、式１により得られた赤み値を、例えば、赤み値（Ｄ）を画像に関して最大の赤み値（Ｄ_max）で除算し、以下に表されるように、値の最大値とゼロを取って負の値を除外するなどして、大きさ合わせすることによって得ることが可能である。
ｐＲ１＝ｍａｘ（０，Ｄ／Ｄ _max ） （式２）

よって、サブステップＳ１４Ａの出力は、確率ｐＲ１であり、これは赤みに関して相対的にある程度まで一致する各ピクセルに割当てられる。ピクセルが色という点で赤目にどの程度類似しているかを識別するように調整された他の色尺度（color measurement）もまた考慮される。

次のサブステップ（Ｓ１４Ｂ）は、各ピクセルに、赤み／輝度確率（ｐＲ２）を割当てる。あるピクセルの輝度（又は明るさ）は、そのピクセルのグレーレベル（彩度）に関して表現することが可能である。よって、例えば、各ピクセルに関して、赤色、緑色、及び青色に対する値の重み付け和である輝度即ちグレーレベル（Ｖ）が求められる。
Ｖ＝０．２５ ^* Ｒ＋０．６ ^* Ｇ＋０．１５ ^* Ｂ （式３）

上記＊は、乗算関数（×）である。次いで、式１において求められた、赤み値Ｄの関数からグレーレベルを減算することにより、赤み／輝度値（Ｌ）が求められる。１つの実施形態においては、この関数は以下のように２Ｄである。
Ｌ＝２ ^* Ｄ−Ｖ （式４）

Ｌは、画像に関して、Ｌの最大値（Ｌ_max）で除算することによって正規化することが可能である。いずれかの負の値はゼロに設定することが可能である。よって、ｐＲ２は、次式、
ｐＲ２＝ｍａｘ（０，Ｌ／Ｌ _max ） （式５）
から求められる。

したがって、式５は、低いグレーレベルを持つ、赤みピクセル（サブステップＳ１４Ａにおいて識別されたもの）を識別する機能を果たす。よって、式５は、そのピクセルが、一般に赤目の場合がそうであるように、明るさよりも赤みの方が強いか否かの指標を与える。このことは、例えばこうした特性を呈する肌領域及び顔領域において、偽ポジの大部分を除去する。

よって、サブステップＳ１４Ｂの出力は、ピクセルのグレーレベルＶ及び赤みＤを考慮に入れた、各ピクセルに関する確率値ｐＲ２である。

代替的に、あるピクセルのｐＲ２値は、
ｐＲ２＝（Ｒ−ＬＰＦ（Ｒ＋Ｇ＋Ｂ）／３）／２５５ 又は負の場合には０ （式６）
により求めることが可能であり、ここでＬＰＦはローパスフィルタ（例えば評価されているピクセルを含んだ５ピクセル×５ピクセルの正方形）を表す。よって、ローパス・フィルタ中のピクセルのＲ、Ｇ、Ｂ値の平均値は、３で除算され、ピクセルの赤色値から減算される。結果は最大値（この場合は２５５）で除算され、０から１までの値を生成する。

ステップＳ１４Ａ及びＳ１４Ｂにおいて割当てられた確率値ｐＲ１及びｐＲ２は、オプションとして組み合わされてもよく、その場合には、ｐＲ１とｐＲ２の積又は重み付けされた和のような単一の確率値ｐＲにされ、最も赤目の可能性が高い領域に集中するための更なる処理ができるようにされる（サブステップＳ１４Ｃ）。例えば、赤みと赤み／輝度との組み合わされた確率Ｆは、以下のように、ｐＲ１とｐＲ２の積として得ることが可能であり、次いで、負の値をゼロに設定した状態で、画像にわたるＦ最大値（Ｆ_max）で除算することにより、正規化することが可能である。
Ｆ＝ｐＲ１ ^* ｐＲ２ （式７）
ｐＲ＝ｍａｘ（０，Ｆ／Ｆ _max ） （式８）

従って、式８はｐＲ１とｐＲ２の両方が大きな値を持つところで確率を補強し、ｐＲ１又はｐＲ２のいずれかが低い／ゼロであるところで確率を下げる／ゼロに設定する。従って、ｐＲは、赤みがかったという意味で、また明るいというよりも赤みがかったという意味で、ピクセルが赤目の中にある確率であると見なしてもよい。従って、確率ｐＲは、そのピクセルが、実際に赤目の中にあるピクセルに対し、色及び輝度の点で類似する確率の概算を提供する。一般に、ｐＲの値が高くなるほど、そのピクセルが赤目の中にある可能性は高くなる。ｐＲ（又は代替的にｐＲ１又はｐＲ２）は、次のステップ（サブステップＳ１４Ｅ）で計算される円形確率のための入力値を形成する。

サブステップＳ１４Ｅにおいては、各ピクセルに対して（又は、少なくとも、例えばｐＲ３＞０或いはｐＲ３＞０．１などのｐＲ３の最小値を持ったピクセルを備えると識別されたいずれかの領域１０中のピクセルに対して）、円形確率値ｐＳＣが割当てられる。このサブステップの１つの態様は、各赤目候補が、円形形状であり、その幅／高さ比が１に近いことを保証することである。あるピクセルの円形確率値ｐＳＣは、従って、そのピクセルが位置している領域の円形度に関連する。１つの実施形態においては、確率値ｐＳＣは、上記のサブステップＳ１４Ｃにおいて求められたｐＲを元にして計算される。

例えば、図２に図示されたように、サブステップＳ１４Ｅにおいては、評価されているピクセルＣから半径方向に選択された距離ｒを隔てて離間され、且つ互いに等間隔に弧方向に離間されたピクセルＰ１、Ｐ２、Ｐ３、Ｐ４などの組Ｓが選択される。ｒは、例えば１ピクセルから１００ピクセルまでとすることが可能である（調査されている画像の解像度に従うことができる）。組は、４つ、６つ、８つ、又はいずれかの好都合な数のピクセルを含むことができる。ピクセルの組の中の各ピクセルＰ１、Ｐ２、Ｐ３、Ｐ４などがほぼ等しいｐＲ確率を持っていた場合には、そのことは、中心ピクセルＰが円形領域に入っている確率が高いことを示唆する。これは、そのピクセルが位置する領域１２の外周１０において、最も顕著である。ステップごとにそのピクセルから更に遠ざかり且つ半径が増大していく複数のピクセルの組を見ることにより、それらの組の各々に関する円形確率を計算することが可能であり、これらのうち１つ又はそれ以上を考慮に入れた最大確率、平均確率、又は他の関数を決定することが可能である。１つの実施形態においては、中心ピクセルＣに関して、半径ｒにおける円形確率ｐＳＣ（Ｃ，ｒ）を有するピクセルＮ₁、Ｎ₂．．．Ｎ_pの数（ピクセルカウント）が得られ、半径ｒは、最大値として、以下の式においてゼロを下回った場合には切り捨てられる。
ｐＳＣ（Ｃ，ｒ）＝ｍａｘ（０，１/２ ^* ピクセルカウント ^* ｐＲ（Ｃ）−［ｐＲ（Ｎ ₁ ）＋．．．＋ｐＲ（Ｎ _p ）］） （式９）
ここでピクセルカウントは、Ｃを囲む円における、選択されたピクセルの数である。
例えば、中心ピクセルの東西南北にある４つのピクセルについて、式、
ｐＳＣ（Ｃ，ｒ）＝１/２^*４^*ｐＲ（Ｃ）−［ｐＲ（Ｎ₁）＋．．．＋ｐＲ（Ｎ₄）］
の値が決定される。

得られた、異なるｒ値について、ｐＳＣ（Ｃ，ｒ）値が求められる。１つの実施形態においては、全ての考慮された半径ｐＳＣ（Ｃ，ｒ）にわたる最大値ｐＳＣ（Ｃ）が決定される。
ｐＳＣ（Ｃ）＝ｍａｘ（ｐＳＣｒ（Ｃ，ｒ）） （式１０）

ｐＳＣ（Ｃ）値は、例えば以下のように、全画像にわたるｐＳＣ（Ｃ）値の最大値（ｐＳＣ_max）で除算して正規化された確率ｐＳＣを求め、０未満を切り捨てて正規化することにより、大きさ合わせされる。
ｐＳＣ＝ｍａｘ（０，ｐＳＣ（Ｃ）／（ｐＳＣ（Ｃ） _max ） （式１１）

このことは、低い確率ｐＲを有するピクセルの円によって囲まれた、高い確率ｐＲを持つピクセルに対し、高確率ｐＳＣを割当てる。

代替的な実施形態においては、ｐＳＣ（Ｃ）を求めるためにｐＳＣ（Ｃ，ｒ）の値が平均化される。

他の円形度の尺度（measurement）もまた考慮されている。一般に、円形確率ｐＳＣを決定することにより、外周において高い局所的なコントラスト（即ち実質的に異なる色及び／又は明るさを持つ周辺区域）を有する実質的に円形の区域の、中心寄りのピクセルには、ゼロより大きく１までとすることが可能な確率ｐＳＣが割当てられ、この値は一般に円形度が大きくなるほど大きくなる。外周において高い局所的なコントラストを有する実質的に円形の区域の一部ではないピクセルに関しては、ゼロ又はゼロに近い確率ｐＳＣを割当てることができる。

１つの実施形態においては、全ピクセルより少ない数のピクセルに関してｐＳＣの値を求め、同じ値を隣接するピクセル即ち接近して配置されたピクセルに割当てて、計算時間を減らすことができる。

従って、一般に、割当て済み確率ｐＳＣは、ピクセルがその一部となっている領域であって、赤みの値ｐＲによって定められた領域の円形度をある程度考慮に入れる。確率は、また、直接的に又は間接的に、ピクセルの局所的コントラスト及び、ピクセルが位置する区域が実質的な非赤色領域によって囲われる範囲を考慮に入れることができる。

サブステップＳ１４Ｅの出力は、画像中の各ピクセルに関する割当て済みｐＳＣ値の確率マップである（又はｐＲ３の閾値に合致した領域中のピクセルに関する確率マップである）（サブステップＳ１４Ｆ）。

オプションとして、赤目補正が妥当であるか否かを決定するように、更に１つ又はそれ以上の試験が行われる（ステップＳ１５）。例えば、かかる試験は、最小のｐＳＣ値（及び／又はｐＲ）を持つ連続ピクセル領域を評価し（サブステップＳ１５Ａ Ｓ１５Ｂ）、大きさ（サイズ）基準及び／又は形状基準を満たすか否かを決定することができる。これらの試験は、偽ポジ、即ち、最小のｐＳＣ値を持つものの、例えば、画像の大きさ（サイズ）に比べて大きすぎるか又は小さすぎるという理由で、或いは長すぎるか又は小型さに欠けるという理由で赤目である可能性が低い連続ピクセル領域を、除外するように設計される。これらの試験は、数個のピクセルを備えた領域に適用され、その領域が全体として赤目であると見なされるべきであるか否か、従って、補正を正当とするか否かの指標となる。試験は赤目と見なされることから幾つかの領域が除外されることを可能にし、これらに関しては、その領域中のピクセルに対して補正は適用されない。例えば、いずれの試験も満たされなかった場合には、元の赤みの値が保たれ、ｐＲ１、ｐＲ２、及び／又はｐＲ３はゼロに設定される。１つの実施形態においては、ある領域が赤目であると見なされるためには試験の全てをパスしなければならない。ある区域が試験の全てをパスしなかった場合には、この区域内の全てのピクセルに関する確率は０に設定される（且つ元の赤み値が保たれる）。

これらの試験は、赤目の可能性がある領域の異なる特性に関与することができ、また確率マップ（ｐＳＣ値）に適用するか、又は中間確率マップ（例えばｐＲ、ｐＲ１、又はｐＲ２）に適用することが可能である。図示された実施形態においては、それらはｐＳＣに適用される。

図３に図示されたように、赤目の可能性がある領域４０、４２、４４は、確率ｐＳＣの閾値（０より大きく１より小さい）を超えたピクセルの結合領域として識別される。閾値確率は、例えば約０．０５から約０．２までとすることができ、例えば約０．１などである。画像５０においては、この閾値に合致する、赤目の可能性がある領域４０、４２、４４が幾つか存在するかもしれない。領域４０、４２、４４の各々について、領域４０、４２、４４の幅Ｗ及び高さＨが求められる。以下の試験は、領域４０を参照して説明されるが、領域４２、４４の各々に対しても（即ち先行する１つ又はそれ以上の試験をパスした各領域についても）試験が行われると理解されたい。

大きさ（サイズ）試験（サブステップＳ１５Ａ）は、個々の領域の各々に対し、領域４０が画像全体５０に比べて小さすぎないことを決定するための第１の大きさ試験を含む。この試験においては、領域の最大幅ｗ及び最大高さｈが、例えばピクセル数に関して、求められる。この試験は、
ｗ＞ｊ／１００ ^* ｓＭａｘ （式１２）
且つ、
ｈ＞ｋ／１００ ^* ｓＭａｘ （式１３）
である場合に満たされ、ここでｓＭａｘはピクセルで表した画像５０の幅及び高さの最大値、すなわち、ｓＭａｘ＝ｍａｘ（Ｗ，Ｈ）であり、ｊ及びｋは、独立に、例えば、
約０．１から約０．５までとすることが可能であって、例えば約、０．２５であり、例えば、ｗ＞０．２５／１００^*ｓＭａｘ、且つｈ＞０．２５／１００^*ｓＭａｘである。

領域４０がこの試験を満たさなかった場合、即ち画像に対して小さすぎた場合には、赤目であるとは見なされない。

個々の領域４０の各々に対する第２の大きさ試験は、その領域が画像全体に比べて大きすぎないことを決定するためのものとすることができる。この試験は、
ｗ＜ｔ／１００ ^* ｓＭｉｎ （式１４）
且つ、
ｈ＜ｕ／１００ ^* ｓＭｉｎ （式１５）
である場合に満たされる。
ここで、ｓＭｉｎはピクセルで表した画像の幅Ｗ及び高さＨの最小値、すなわち、
ｓＭｉｎ＝ｍｉｎ（Ｗ，Ｈ）であり、ｔ及びｕは、独立に、例えば、約５から約２０までとすることが可能であって、例えば、約１０であり、例えば、
ｗ＜１０／１００^*ｓＭｉｎ、且つｈ＜１０／１００^*ｓＭｉｎである。

領域４０がこの試験を満たさなかった場合、即ち画像に対して大きすぎた場合には、赤目であるとは見なされない。

形状試験（サブステップＳ１５Ｂ）は、個々の領域４０に対して、その領域が長すぎない、即ち高さは幅より実質的に大きくなく、且つ幅は高さより実質的に大きくないことを決定するための試験を含んでもよい。この試験は、
ｗ＜ｙ ^* ｈ （式１６）
且つ、
ｈ＜ｚ ^* ｗ （式１７）
である場合に満たされる。

ここでｙ及びｚは、独立に、例えば約１．５から約３までとすることが可能である。例えば、幅が高さの約２倍より小さく、且つ高さが幅の約２倍より小さい、
ｗ＜２^*ｈ、ｈ＜２^*ｗなどである。

領域がこの試験を満たさなかった場合、即ち幅方向又は高さ方向のどちらかにおいて長すぎた場合には、赤目であるとは見なされない。

個々の領域４０の各々に対する第２の形状試験は、その領域が比較的小型であることを決定するためのものとすることができる。この試験は、
ｆｐｂ＞ｆ （式１８）
である場合に満たされる。
ここで、ｆｐｂは、領域の長方形境界ボックス５４の範囲内にあって領域４０に属するピクセル５２の割合であり、ｆは、約０．１から約０．３までの、例えば約０．２５とすることが可能である。

領域４０がこの試験を満たさなかった場合、即ち分散しすぎている場合には、赤目であるとは見なされない。

ステップＳ１５の出力は、適用された試験の各々をパスした領域にあるピクセルを除いて、全てのピクセルについて確率値Ｐ＝０の割当てを行う確率マップである。試験をパスした領域にあるピクセルについては、割当て済み確率値Ｐ＝ｐＲ２が保持される。

上記の４つの試験より多い数又は少ない数の試験を適用することができ、また例えば試験のうちの２つ又は３つなど、少なくとも最小の数の試験が満たされたときのように、全ての試験より少ない数の試験が満たされた場合に、ある領域を、赤目であると見なすことができると理解されるであろう。

オプションとして、追加試験を行って、更に偽ポジを減らすことができる。例えば、第５の試験（Ｓ１５Ｃ）は、ステップＳ１５Ａ及びＳ１５Ｂにおいて、赤目の可能性がある（Ｐ＞０）と識別された領域が、高い赤み確率ｐＲ２又はｐＲ１を有するピクセル領域と重なるか否かを決定する。図３に図示されたように、この試験は、いずれかの残された赤目の可能性がある領域４０、４２、４４（即ち、ステップＳ１５Ａ及びＳ１５Ｂにおいて除外されなかった赤目の可能性がある領域４０、４２、４４）、及びｐＳＣからのそれらの確率を、対応するｐＲ２中の領域６０、６２、６４にマッピングすることを含むことができる。赤目領域に関しては、大きさは、限定された倍数で変化していなければならないことから、ｐＲ２とｐＳＣの間で大きさが余りに大きく変化する領域は、このステップの間に除外される。

このステップにおいて、ｐＳＣ中の、各々の赤目の可能性がある領域４０、４２、４４は、それぞれの対応するｐＲ２中の領域６０、６２、６４に最初に結びつけられる。例えば、ｐＳＣ中の各領域４０、４２、４４について、ｐＲ２中の全重なり領域６０、６２、６４、６６が求められる。ｐＲ２中の領域６０、６２、６４、６６は、確率ｐＲ２の閾値を超えたピクセルの結合領域として識別される。例えば、確率ｐＲ２の閾値は、ｐＲ２がｐＳＣ中の領域に属するピクセルに割当てた確率の平均値の１／４とすることが可能であるが、例えば０．２から約０．３までのように、１／４を上回る又は下回る値もまた考慮される。全重なり領域６０、６２、６４、６６から、次いで、（ピクセル数に関して）最大に重なる領域が、対応する領域６０、６２、６４として、選び出される。

次いで、ｐＳＣ中の領域４０、４２、４４の大きさが、それぞれ、ｐＲ２中の重なり領域６０、６２、６４の大きさと比較されて、領域が比較可能な大きさであることが確認される。例えば、比較可能な領域４０、６０について、ピクセル数で表された領域の大きさに関する以下の試験がパスされねばならない。
ｎｐ１＞１／４ ^* ｎｐ２ （式１９）
ここで、ｎｐ１は領域４０(ｐＳＣ)中のピクセル数であり、
ｎｐ２は対応する領域６０（ｐＲ２）中のピクセル数である。

各々の対応する領域の対４２、６２及び４４、６４について、同様の試験が行われる。

この第５の試験がパスされ、且つｐＲ２領域６２、６４、６６が赤目の可能性がある領域の特性に関する所望の大きさ・形状基準を満たした場合には（Ｓ１５Ａ、Ｓ１５Ｂ）、ｐＲ２領域６２、６４、６６は、確率値Ｐ＝ｐＲ２と共に保持される。かかるステップの後、確率マップは、大きさ及び形状試験をパスした対応するｐＲ２からの赤目領域に対応する領域６２、６４、６６から選択された、１つ又はそれ以上の領域にあるものを除き、全てのピクセルに値Ｐ＝０を割当てる。オプションとして、次いで、ｐＲ２値は、例えば全画像にわたってｐＲ２の値をｐＲ２の最大値（ｐＲ２_max）で除算するなどして正規化することにより、大きさ合わせされる。
Ｐ＝ｐＲ２／ｐＲ２ _max （式２０）

例として、図３に図示された画像においては、領域４０に関しては、ｐＲ２中の対応する領域６０は広すぎ（領域４０中のピクセル数＜領域６０中のピクセル数の１／４）、従って、除外される領域４０中の全てのｐＲ２値は０に設定される、即ち、この領域に関してＰ＝０となる。領域４２に関しては、ｐＲ２中の対応する領域６２は式１９を満たし、従って、領域４２の確率は保持される。領域４４に関しては、対応する領域６４は、領域４４と最大に重なる区域を有し、従って、領域４４は保持される。ｐＲ２中の領域６４と重なるｐＳｃ中の領域である領域６６は、領域４４との重なりが領域６４より少なく、従って、領域４４に関する決定には関与しない。

次のステップ（ステップＳ１６）は、＞０である確率Ｐを持つ各ピクセルについて、赤目補正を決定することである。１つの実施形態においては、確率Ｐが大きくなるほど、ピクセルに適用される補正は大きくなる。補正は、ピクセルの青色成分及び緑色成分を増加させること及び／又はピクセルの赤色成分を減少させることを含んでもよい。別の実施形態においては、ピクセルがある閾値を上回る確率Ｐをもつ際に、そのピクセルの赤色成分はゼロに設定される。

赤目補正が為されるピクセルについて、補正は、そのピクセルが赤目ピクセルである確率だけでなく、ピクセルの色を、例えば問題のピクセルの赤色成分、青色成分、緑色成分との関連で考慮に入れることが可能である。このことは、画像の彩度が補正に影響を及ぼすことを可能にし、周辺区域の彩度をより反映する可能性の高い補正をもたらす。

例えば、緑色値と青色値の関数である赤色低減値（ｒｅｄＲｅｄｕｃｅｄ）がピクセルに割当てられる。例えば、赤色低減値は、緑色値と青色値の平均、
赤色低減値（ｒｅｄＲｅｄｕｃｅｄ）＝（Ｇ＋Ｂ）／２ （式２１）
である。

Ｇ値及びＢ値は同一に保たれる。よって、Ｒ＝２２０、Ｇ＝１３０、Ｂ＝９０である例示的なピクセルにおいては、ｒｅｄＲｅｄｕｃｅｄ＝１１０である。ピクセルが赤目である確率Ｐを用いて、元の赤色値及び赤色低減値の、画像中の最終赤色値に対する相対的寄与を決定する。Ｐ値が高くなるほど、赤色低減値に付与される重み付けは大きくなる。補正済み赤色値であるＲｃｏｒｒｅｃｔｅｄは、例えば、式、
補正済み赤色値＝（１−Ｐ） ^* オリジナル値（original）＋Ｐ ^* 赤色低減値（redReduced） （式２２）
から求めることが可能である。

よって、Ｐ＝１／４に対して、図示されたピクセルにおいては、
補正済み赤色値（Rcorrected）＝３／４^*２２０＋１／４^*１１０＝１９２．５＝１９３
となる。

よって赤色値は、最終画像において、２２０から約１９３まで低減されるが、元の緑色値及び青色値は保持される。よって修正されたピクセルは、Ｒ＝１９３、Ｇ＝１３０、Ｂ＝９０である。

別の実施形態においては、赤色値は、Ｐ値を累乗することによって調整される。ピクセルの修正は、従って、以下の式、
補正済み赤色値（Rcorrected）＝（１−Ｐ＾（１／ｄｅｇｒｅｅ））^*Ｒｏｒｉｇｉｎａｌ＋Ｐ＾（１／ｄｅｇｒｅｅ） ^* ｒｅｄＲｅｄｕｃｅｄ （式２３）
に基づくことが可能である。
ここで、Ｒｏｒｉｇｉｎａｌは入力画像の赤色値であり、
ｒｅｄＲｅｄｕｃｅｄは赤色低減値であるＲ値であり、
ｄｅｇｒｅｅは元の値とｒｅｄＲｅｄｕｃｅｄ値のそれぞれの重み付けを制御するアルゴリズム変数である。１から約４までの整数値であるｄｅｇｒｅｅは、一般に、好成績を出している。上記の式２３においては、ｄｅｇｒｅｅは１である。
また、Ｐ＾（１／ｄｅｇｒｅｅ）は、Ｐそのものであるよりは確率であると見なすことができると考えられており、従ってこの式は、
Ｒｃｏｒｒｅｃｔｅｄ＝（１−Ｐ）） ^* Ｒｏｒｉｇｉｎａｌ＋Ｐ ^* ｒｅｄＲｅｄｕｃｅｄ （式２４）
として見ることも可能である。

評価されている画像が元の画像の低解像度画像である場合、Ｐ値が求められた低解像度画像中のピクセルに対応している元の画像中のピクセルは、最後のステップにおいて、元の画像中の対応する各ピクセルについてｒｅｄＲｅｄｕｃｅｄ値を計算し、同じＰ値を適用して、これら対応するピクセルの各々についてＲｃｏｒｒｅｃｔｅｄ値を求めることにより、全て補正される。

１つの実施形態においては、ユーザ入力が、ユーザが赤目補正済み画像を閲覧して、その補正を容認するか又は却下できるようにする（サブステップＳ１６Ｃ）。

種々の、確率を決定するステップ、及び補正を適用するステップは、ソフトウェアに、自動的に画像を評価して赤目補正を適用するアルゴリズムとして組み入れることが可能である。図４において、処理モジュール１０２を組み入れた、１つの例示的なデジタル画像形成装置又はデジタル画像処理装置１００が概略的に示されている。処理モジュールは、妥当である場合には、画像の解像度を決定し、より低解像度の画像をステップＳ１２において生成するための解像度選択モジュール１０４を含む。処理モジュールは、また、ステップＳ１４Ａ、ステップＳ１４Ｂ、ステップＳ１４Ｃ、ステップＳ１４Ｄ、及びステップＳ１４Ｅを実行するための部品を含んだ検出モジュール１０６と、試験Ｓ１５Ａ、試験Ｓ１５Ｂ及び試験Ｓ１５Ｃを適用するための試験モジュール１０８と、ステップＳ１６Ａ、ステップＳ１６Ｂ及びオプションとしてのステップＳ１６Ｃを実行するための部品を含んだ補正モジュール１１０を含む。デジタル装置１００は、モジュール１０２によってアクセスされる、ステップの出力と、元の画像、及び修正された画像を格納するための適切なメモリ１１２を含む。処理モジュールは、ユーザが補正された画像を閲覧し、補正を容認するか又は却下することを可能にするユーザ・インタフェース１１６と通信することができる。

画像中の赤目の自動補正のための１つの例示的な方法のステップを図示する流れ図である。 画像の一部及び、円形確率が割当てられているピクセルを囲む領域の概略図である。 赤目検出が行われる間の検討区域を図示する、画像の概略図である。 図１のステップを実行するためのデジタル装置の概略図である。

符号の説明

１０：ピクセル外周
１２：ピクセルが位置する領域
４０、４２、４４：赤目の可能性がある領域
５０：画像
５２：ピクセル
５４：長方形境界ボックス
６０、６２、６４、６６：ｐＲ２中の重なり領域
ｐＲ１：赤み確率
ｐＲ２：赤み／輝度確率
ｐＲ：組み合わされた確率
ｐＳＣ：円形確率

Claims (3)

1. 処理方法であって、
   ピクセルの赤色成分、緑色成分、及び青色成分の関数である赤み確率、又は、ピクセルが緑色又は青色であるよりも赤色に近い程度の関数であり且つピクセルが明るさよりも赤みの方が強い程度の関数である赤み／輝度確率、又は、前記赤み確率と前記赤み／輝度確率の何らかの関数である組み合わされた確率を割当て、
   前記割当てられた確率を用いて、画像中のピクセルに関する確率マップを出力し、
   外周のピクセルが、ほぼ等しい、前記赤み確率、前記赤み／輝度確率、又は前記確率を持っていた場合に、中心のピクセルが円形領域に入っている確率が高いことを示唆する円形確率を割当て、
   前記円形確率に基づいて、前記出力された確率マップを、複数のピクセルの各々が赤目の中にある確率を表す確率マップとして形成し、
   前記形成された確率マップに基づき、赤目である確率が高い領域を識別し、
   前記識別された領域中の各ピクセルの色を個別に修正することを含む処理方法。
2. 画像補正のためのシステムであって、
   ピクセルの赤色成分、緑色成分、及び青色成分の関数である赤み確率、又は、ピクセルが緑色又は青色であるよりも赤色に近い程度の関数であり且つピクセルが明るさよりも赤みの方が強い程度の関数である赤み／輝度確率、又は、前記赤み確率と前記赤み／輝度確率の何らかの関数である組み合わされた確率を割当て；前記割当てられた確率を用いて、画像中のピクセルに関する確率マップを出力し；外周のピクセルが、ほぼ等しい、前記赤み確率、前記赤み／輝度確率、又は前記確率を持っていた場合に、中心のピクセルが円形領域に入っている確率が高いことを示唆する円形確率を割当て；前記円形確率に基づいて、前記出力された確率マップを、複数のピクセルの各々が赤目の中にある確率を表す確率マップとして形成する検出モジュールと、
   前記形成された確率マップに基づき、赤目である確率が高い領域を識別する試験モジュールと、
   前記識別された領域中の各ピクセルの色を個別に修正する補正モジュールを含むシステム。
3. 処理方法であって、
   デジタル画像中の複数のピクセルの各々について、ピクセルが赤目内に入る確率を、そのピクセルの色の関数として、ピクセルに割当てることと、
   前記複数のピクセルの各々について、ピクセルが赤目内に入る前記決定された確率（Ｐ）とそのピクセルの色の関数である補正を、該ピクセルへ適用するように決定することと、
   を含み、
   前記ピクセルへの補正が、赤目入り確率（Ｐ）が０を上回っているピクセルの赤色成分値を、補正済み赤色成分値に置き換えることを含み、
   ここで、前記補正済み赤色成分値は、以下の式
   （Rcorrected）＝（１−Ｐ＾（１／ｄｅｇｒｅｅ））^*Ｒｏｒｉｇｉｎａｌ＋Ｐ＾（１／ｄｅｇｒｅｅ）^*ｒｅｄＲｅｄｕｃｅｄ
   から導き出され、
   ここで、Ｒｏｒｉｇｉｎａｌは前記ピクセルの前記赤色成分値であり、ｒｅｄＲｅｄｕｃｅｄは実質的に前記ピクセルの緑色成分値と青色成分値との平均であり、ｄｅｇｒｅｅは１〜１４である処理方法。

Images