JP2010520567A - 顔の位置および向きを用いた赤目の誤検出フィルタリング - Google Patents

Abstract

画像は、赤色を有する赤目異常および赤目異常がない領域を含めて取得される。最初の区分けの赤目候補領域が実行される。画像中で、1以上の顔の位置および向きが判別される。それぞれの赤目領域が、目の位置に表れる確率を決めるために１以上の顔の判別した位置および向きに基づいて分析される。判別が誤りとなる少なくとも特定の閾値の確率を有する確認した赤目領域は、赤目候補異常領域として除去される。残りの赤目異常領域は補正され、赤目補正した画像が生成される。

Description

赤目は、フラッシュを備えたカメラで取得される画像に表れる人の瞳の不自然な赤みを帯びた色の外見のことである。赤目は、人間の網膜における血管で反射して、カメラに戻るフラッシュの光により生じる。

カラー画像において赤目を検出し、補正する多くの画像処理技術が提案されている。一般的に、これらの典型的な技術は、半自動または自動的に行われる。半自動の赤目検出技術は、人間の入力に依存する。例えば、ある半自動の赤目低減システムにおいて、異常を補正する前に、使用者は、赤目を含む画像領域を手動で識別する。

多くの自動の赤目低減システムでは、赤目領域を検出する前に予備の顔検出を行う。共通の自動工程は、画像中で顔を検出し、次にそれぞれの検出した顔の中で、目を検出することを含む。目が位置づけられた後に、赤目は、検出した目の位置に対応する画像領域の形、配色、および、明るさに基づいて識別される。一般的に、顔検出に基づく自動赤目低減技術では、高い計算およびメモリ資源が必要となる。さらに、ほとんどの顔検出アルゴリズムは、直立の正面図で方向づけられた顔を検出することしかできず、これらの工程は、画像平面に対して平面内、または、平面外で回転させた顔を検出することをできない。

ＤｅＬｕｃａの米国特許第６,４０７,７７７号では、取得したデジタル画像において赤目画素の補正およびインカメラ検出技術が開示されている。Ｓｔｅｉｎｂｅｒｇの米国特許第６,８７３,７４３号では、自動的なリアルタイム検出および携帯端末として最適化された赤目異常の補正技術が開示されている。Ｌｕｏなどによる米国特許出願公開第２００５／００４７６５５号と第２００５／００４７６５６号のそれぞれには、デジタル画像および組み込まれたシステムにおける赤目の検出および補正技術が開示されている。

自動赤目検出アルゴリズムは、赤目のアーチファクトとして画像領域を時々誤って識別することがある。それらの領域は、誤検出(False positive)（FP）と呼ばれる。いくぶんまれだが、それらに赤目補正を適用することは、視覚的に不快な画像をもたらす。顔の位置および／または顔の方向の情報を用いて、誤検出の数を減らす技術が必要とされている。

デジタル画像中で、赤目異常を検出および補正する方法を提供する。色が赤である１以上の赤目異常でない領域を有する画像が取得される。第１ステージの最初の区分けの赤目候補領域は、補正用の１以上の確認された赤目領域の第１セットを決めるように実行される。画像中における顔の位置および方向が判別される。確認した赤目領域の第１セットは、それぞれの確認した赤目領域が目の位置に表れる確率を決めるために顔の判別した位置および方向に基づいて分析される。誤検出（誤り）となる少なくとも特定の閾値の確率を有する確認した赤目領域は、第１セットから除去され、第２セットが生成される。確認した赤目領域の第２セットは、補正され、そして、確認した赤目領域の補正された第２セットを有する赤目補正画像が生成される。赤目補正画像については、電子的に保存され、送信され、さらに処理され、編集され、表示され、またはそれらを組み合わせた処理が行われる。

赤目領域の第１ステージの最初の区分けの実行は、画素を分析することを含んでも良い。赤目領域の第１ステージの最初の区分けの実行は、誤り（falsing）および検査のフィルタリングを含んでも良い。分析および除去は、画像の補正よりも前に実行しても良い。確認した赤目領域の第１セットは、最初に補正されても良いし、最初に補正した画像は、分析、除去および赤目補正画像の生成よりも前に作り出されても良い。１以上の検出した顔は、第２セットが空ではないセットとなるように少なくとも１つの赤目異常を含んでも良い。または、第２セットは、実際の赤目領域が画像中で補正されないように第２セットが空となっていても良い。

組み込まれた画像取得および画像処理システムは、画像取得サブシステムを含む。補正用の１以上の確認した赤目領域の第１セットを決めるために、赤目フィルタは、取得した画像中において検出した赤目候補領域の最初の区分けを第１ステージで実行する。顔の位置および向きの検出器並びに分析フィルタは、それぞれの確認した赤目領域が、顔の位置および向きの情報を判別することに基づいて目の位置に表れる確率を決める。プロセッサは、判別が誤り（誤検出）となる少なくとも特定の閾値の確率を有するものを除いた、第１セットの確認した赤目領域の赤目異常を補正し、赤目補正画像を生成する。赤目補正画像については、電子的に保存され、送信され、さらに処理され、編集され、表示され、または、それらを組み合わせた処理が行われる。画像中で顔が検出されない場合は、赤目異常は補正されない。

そこで具体化された処理装置の読み取り可能なコードを有する１以上の記憶装置は、ここで組み込まれた参照ものとしての技術を単独で、または、その組み合わせで記載された方法のいずれかを実行するための１以上の処理装置をプログラムすることを同様に提供する。

色の図（color drawing）に関しての説明
特許または特許出願は、カラー写真を含み、色について実行された少なくとも１つの絵を含む。色の図を含むこの特許または特許出願公開の複製は、必要な料金の要求および支払いに従い庁で提供される。
図１Ａは、第１の赤目補正方法を説明したブロック図である。 図１Ｂは、第２の赤目補正方法を説明したブロック図である。 図１Ｃは、第３の赤目補正方法を説明したブロック図である。 図１Ｄは、第４の赤目補正方法を説明したブロック図である。 図２Ａは、赤目異常および赤目異常領域ではない赤色を有した領域を含む人の画像である。 図２Ｂは、赤目異常および赤目異常領域ではない赤色を有した領域を含む人の画像である。 図３Ａは、赤目異常および他の領域を色彩補正した図２の画像である。 図３Ｂは、赤目異常および他の領域を色彩補正した図２の画像である。 図４Ａは、検出、位置および決められた方向を有する図２および３における人の顔を図示したものである。 図４Ｂは、検出、位置および決められた方向を有する図２および３における人の顔を図示したものである。 図５Ａは、実際の赤目異常のみを補正した図２または図３の画像である。 図５Ｂは、実際の赤目異常のみを補正した図２または図３の画像である。

赤目フィルタ処理は、図１Ａに図示される。入力画像は、赤目検出ステージ１００により画素レベル１０３において最初に分析され、複数の赤目候補領域１０４に区分けされる。さらに一連の誤り(falsing)および検査のフィルタ１０６が、候補領域に適用されることにより、確認した赤目領域１０８のセットが決定される。次に、補正フィルタ（画素修正）１０２が、確認した領域に適用され、赤目補正された最終画像１１２が生成される。

ここでの実施例において、顔検出アルゴリズムは、有利な誤りおよび検査のフィルタ１０６の構成として適用されたり、確認した赤目領域のセットが、１０８で最初に決められた後に適用されたりする。この顔検出アルゴリズムは、顔の位置および／または向きを決める。これは、画像中に目がおそらくある特定の場所、および／または目がおそらくない特定の場所としての情報を提供する。

図１Ｂは、赤目検出ステージ１００により画素レベル１０３において入力画像を分析し、および複数の赤目候補領域１０４に区分けし、また赤目領域の確認したセット１０８を決めるために候補領域に対して、誤りおよび検査フィルタ１１６を適用する処理を説明するものである。この実施例において、誤りおよび検査のフィルタ１１６は、顔検出処理を含み、それは、顔の位置および／または向きを決め、画像中において目がおそらくある特定の場所、および／または目がおそらくない特定の場所としての情報を提供する。

図１Ｃは、赤目検出ステージ１００により画素レベル１０３において入力画像を分析し、複数の赤目候補領域１０４に区分けし、また赤目領域の確認したセット１０８を決めるために、候補領域に対して誤りおよび検査のフィルタ１０６を適用する処理を説明するものである。
この実施例では、顔検出処理１１８は、顔の位置および／または向きを判別し、画像中において目がおそらくある特定の場所、および／または目がおそらくない特定の場所としての情報を提供する。誤りを判別するための顔検出処理１１８は、１０８において、赤目領域の確認に従って実行される。図1Dでは、誤りを判別するための顔検出処理１１８は、赤目領域の確認１０８後であって、確認した赤目領域１０２の補正後に実行される。

図２Ａ−２Ｂを参照すると、赤いイヤリングを付けた女性が、撮影されており、赤目のアーチファクトは、画像中において彼女の両目に存在している。彼女が身に付けているイヤリングは、目における写真のアーチファクトとして表示された赤に似た色である。従来の赤目補正アルゴリズムは、目と同じようにイヤリングの色も調節するが、本発明は、女性の目に表れた実際の赤目のアーチファクトと赤いイヤリングとを識別することを提供する。女性の目が、女性の顔の位置および／または向きの判別に基づいて、実際の赤目のアーチファクトの位置にあることを判別することで行われる。一方、女性のイヤリングが、誤検出（誤り）の位置であることも判別する。なぜなら、イヤリングは、顔の位置や向きに対するデジタル画像中の位置に対して、顔の判別された位置および／または向きに基くおそらく目がある場所に対応しない位置にあるためである。

図３Ａ−３Ｂで示した画像において、最初の赤目自動検出アルゴリズムは、２つの実際の赤目領域を正確に見つけて、元の色となるように補正しているのが分かる。しかしながら、そのアルゴリズムは、２つのイヤリングも間違えて検出し、さらにそれらについても補正している。

図４Ａ−４Ｂは、女性の顔の位置および向きを判別する顔検出アルゴリズムの有利な利用を説明する。図４Ａ−４Ｂで示されたボックスは、女性の顔を大まかに取り囲んでいる。ボックスの赤い辺は、顔の向きの判別を示す頭の上部を示す。そのアルゴリズムは、目、鼻、口、頬、顎、眉毛、髪の毛のような女性の顔の特徴、および／または、女性の頭、若しくは首、肩、胴および／または脚のようなデジタル画像中における顔に対する方向を表したり、表さなかったりする他の体の部分、および／または、頭の形、および／または耳の外見、その他の可能な要素に基づいて、頭の上部を推測する。（例えば、Ｌｉｎなどの米国出願公開２００６／０２０４１１０号、ＰＣＴ／ＵＳ２００６／０２１３９３号、ＵＳ２００２／０１７２４１９号；ＨｅｌｄなどのＵＳ２００２／０１２６８９３号、ＩｔａｇａｋｉなどのＵＳ２００５／０２３２４９０号、ＬｕｏなどのＵＳ２００４／００３７４６０号参照、それぞれは参照することにより組み込まれる。）

図４Ａ−４Ｂの例において、イヤリングの片方は、顔検出ボックスの内側にある（すなわち、右側のイヤリング）。しかし、その他のイヤリングは、顔検出ボックスの外側にある（すなわち、左側のイヤリング）。赤い左側のイヤリングは、女性の目および右側のイヤリングのような特徴よりも、赤目のアーチファクトとなる確率は低いと考えられる。なぜならば、赤い左側のイヤリングは、ボックスの外側にあり、女性の目と右側のイヤリングはボックスの内側にあるためである。さらに、女性の赤いイヤリングの両方は、ボックスの側辺付近に位置し、一方、ボックスの側辺よりも彼女の目が存在する可能性の高い位置において、目がボックス内で検出される。したがって、今、イヤリングの両方は、女性の赤目よりも赤目のアーチファクトとなる確率を減らし、２つのイヤリングのうち低い確率を有する左側のイヤリングにおける確率も減らす。向きの検出を用いて、女性の各目内における赤目のアーチファクトは、おそらく彼女の目がある位置となるように判別され、補正すべき赤目のアーチファクトとみなされる。一方、赤いイヤリングは、おそらく目がない場所にあると判別され、赤目のアーチファクトとみなされない。

女性の頭、若しくは顔の「上部」を示すボックスの赤い縁、または顔の「上側」は、記載したような画像における顔検出アルゴリズムを適用することにより取得しても良いし、複数のプレビュー画像、または、その他の参照画像（図２Ａ−２Ｂのメイン画像と同時に取得された画像、若しくはポストビュー（postview）画像のようなもの）を用いる顔追跡により取得しても良い。

記載された例において、全ての検出した赤目領域の位置は、顔の位置を考慮して分析される。２つの正しい赤目は、顔領域の内側であって、向きが合致している位置にあるため、赤目候補と考えられる。左側のイヤリング領域は、顔のボックスの内側で見つけられるが、向きが一致しないため、誤りとして分類され、除去される。右側のイヤリング領域は、顔のボックスの外側にあるが、顔の領域に非常に近いところに見つけられる。この場合、他の顔が存在している可能性が最小と見なされ、その領域は、誤りとして分類され、除去される。仮に第２の顔が画像中に検出されると、次に赤目処理は、この顔に対して処理でき、いずれかの赤目のアーチファクトは第２の処理で除去される。顔から十分に離れた位置にあるその他の可能性がある赤目領域は、影響を受けなく、赤目候補を維持する。

図５Ａ−５Ｂは、補正した実際の赤目のアーチファクトを有する女性の補正した画像、および判別が誤ったイヤリングを最初に取得した赤色に戻したものを図示したものである。
図２Ａ−５Ｂの例において、おそらく、ある休日のパーティで、女性が身につけている角は、最初から赤目のアーチファクトとして検出されない。もし最初に赤目のアーチファクトと見なされていれば、これらも同様に誤りとして識別される。（イヤリングと同じ処理が行われる。）

本発明の典型的な図および具体的な実施例は、記述され図示されているが、本発明の範囲は、特に記述した実施例に制限されるものではない。したがって、実施例は、制限的になるよりは、実例とみなされ、バリエーションは、追加したクレーム、構造およびそれらと同じ機能と説明された本発明の範囲から逸脱しない当業者によりそれらの実施例が作られても良い。

さらに、ここでの好ましい実施例に従って実行されるものおよび上記のような方法において、操作は、選択した印刷の順番（sequences）で描かれも良い。しかしながら、その配列は選択され、そして印刷の利便性として命令され、操作を実行するための特別な命令を示唆しようとするものではなく、特別の命令が明確に説明されても良く、または、その技術におけるオリジナルの技術が必要となる特別な命令と思われるものを除くようにしたものではない。

さらに、ここでの全ての参照は、背景、発明の要約、要約、図面の簡単な説明と同じように次のものが引用される。米国特許第６,４０７,７７７号、第７,３１５,６３１号および第７,３３６,８２１号、および米国特許出願公開第２００５／００４１１２１号、第２００５／００３１２２４号、第２００５／０１４０８０１号、第２００６／０２０４１１０号、第２００６／００９３２１２号, 第２００６／０１２０５９９号、第２００７／０１１０３０５号および 第２００６／０１４０４５５号、および ＰＣＴ／ＥＰ第２００６／００８３５８号、および 米国特許出願第６０／７７３,７１４号、第６０／８０４,５４６号、第６０／８６５,３７５号、第６０／８６５,６２２号、第６０／８２９,１２７号、第６０／８２９,１２７号、第６０／８２１,１６５号、第６０／８９２,８８２号、第６０／９４５,５５８号、第６０／９１５,６６９号、第１０／７７２,７６７号、第１１／５５４,５３９号、第１１／４６４,０８３号、第１１／４６２,０３５号、第１１／２８２,９５４号、第１１／０２７,００１号、第１０／８４２,２４４号、第１１／０２４,０４６号、第１１／２３３,５１３号、第１１／７５３,０９８号、第１１／７５３,３９７号、第１１／７６６,６７４号、第１１／７６９,２０６号、第１１／７７２,４２７号、および第１１／４６０,２１８号は、公開された他の実施例として詳細な説明の好ましい実施例に参照することにより全て組み込まれる。

Claims (20)

1. デジタル画像中において、赤目異常を検出および補正する方法であって、
   (a)赤色を有する１以上の赤目異常領域がないものを含む画像を取得し、
   (b)補正用の１以上の確認した赤目領域の第１セットを決めるために赤目候補領域の最初の区分けを第１ステージで実行し、
   (c)前記画像中において、顔の位置および向きを判別し、
   (d)それぞれの確認した赤目領域が、目の位置に表れる確率を決めるために、前記判別した顔の位置および向きに基づいて、または、前記画像中に顔がないとの判別に基づいて、前記第１セットの確認した赤目領域を分析し、
   (e)判別が誤りとなる少なくとも特定の閾値の確率を有する確認した赤目領域を前記第１セットから除去し、それにより第２セットを生成し、
   (f)前記第２セットの確認した赤目領域を補正し、そこで補正した前記第２セットの確認した赤目領域を有する赤目補正画像を生成し、
   (g) 前記赤目補正画像を電子的に保存し、送信し、さらに処理若しくは編集し、表示し、または、それらの組み合わせをすることを特徴とする方法。
2. 請求項１に記載された方法であって、赤目領域の前記第１ステージの最初の区分けの実行は、画素分析を含むことを特徴とする方法。
3. 請求項２に記載された方法であって、赤目領域の前記第１ステージの最初の区分けの実行は、誤りおよび検査のフィルタリングを含むことを特徴とする方法。
4. 請求項１に記載された方法であって、前記分析および前記除去は、前記画像のいずれかの補正よりも前に実行することを特徴とする方法。
5. 請求項１に記載された方法であって、前記分析、前記除去および前記赤目補正画像の前記生成よりも前に、前記第１セットの確認した赤目領域を最初に補正し、および最初の補正画像を生成することをさらに含むことを特徴とする方法。
6. 請求項１に記載された方法であって、１以上の前記顔は、前記第２セットが、空ではないような少なくとも１つの赤目異常をさらに含むことを特徴とする方法。
7. 請求項１に記載された方法であって、前記第２セットは、前記画像中で実際の赤目領域が補正されないように空のセットを含むことを特徴とする方法。
8. 組み込まれた画像取得および処理システムであって、
   (a)画像取得のサブシステムと、
   (b)補正用の第１セットの１以上の確認した赤目領域を判別するために取得した画像中において、検出された赤目候補領域の最初の区分けを第１ステージで実行する赤目フィルタと、
   (c)顔の位置および向きの検出器と、
   (d)前記顔の位置および向きの検出器から、顔の位置および向きの情報を判別することに基づいて、それぞれの確認した赤目領域が目の位置に表れる確率を決定する分析フィルタと、
   (e)判別が誤りとなる少なくとも特定の閾値の確率を有するものを除いた、前記第１セットの前記確認した赤目領域の前記赤目異常を補正して、赤目補正画像を生成する処理するプロセッサとを有し、
   (f)前記赤目補正画像を、電子的に保存し、送信し、さらに処理若しくは編集し、表示し、または、それらの組み合わせをすることを特徴とするシステム。
9. 請求項８に記載されたシステムであって、赤目領域の前記第１ステージの最初の区分けの実行は、画素分析を含むことを特徴とするシステム。
10. 請求項９に記載されたシステムであって、赤目領域の前記第１ステージの最初の区分けの実行は、誤りおよび検査のフィルタリングを含むことを特徴とするシステム。
11. 請求項８に記載されたシステムであって、前記分析および除去は、前記画像のいずれかの補正よりも前に実行されることを特徴とするシステム。
12. 請求項８に記載されたシステムであって、前記プロセッサは、前記分析、除去および前記赤目補正画像の前記生成よりも前に、さらに前記第１セットの確認した赤目領域を最初に補正して、最初の補正画像を生成することを特徴とするシステム。
13. 請求項８に記載された１以上の記憶装置であって、前記画像中において顔を検出しないときに、赤目異常が補正されないことを特徴とする装置。
14. デジタル画像中で、赤目異常を検出および補正する方法を１以上のプロセッサに実行させるためのプログラムが組み込まれたプロセッサの読み取り可能なコードを有する１以上の記憶装置であって、
    (a)１以上の赤色を有する赤目異常領域がないものを含んだ画像を取得し、
    (b)補正用の１以上の確認した赤目領域の第１セットを判別するために赤目候補領域の最初の区分けを第１ステージで実行し、
    (c)前記画像中で、顔の位置および向きを判別し、
    (d)それぞれの確認した赤目領域が、目の位置に表れる確率を決定するために、前記画像中で顔がない判別に基づいて、または、前記判別した顔の位置および向きに基づいて、確認した赤目領域の前記第１セットを分析し、
    (e)判別が誤りとなる少なくとも特定の閾値の確率を有する確認した赤目領域を前記第１セットから除去し、それによって第２セットを生成し、
    (f)前記第２セットの確認した赤目領域を補正し、およびそこで補正した前記第２セットの確認した赤目領域を有する赤目補正画像を生成し、
    (g)赤目補正画像を電子的に記憶し、送信し、さらに処理若しくは編集し、表示し、または、それらの組み合わせをすることを特徴とする装置。
15. 請求項１４に記載された１以上の記憶装置であって、赤目領域の前記第１ステージの最初の区分けの実行は、画素分析することを含むことを特徴とする装置。
16. 請求項１５に記載された１以上の記憶装置であって、赤目領域の前記第１ステージの最初の区分けの実行は、誤りおよび検査のフィルタリングを含むことを特徴とする装置。
17. 請求項１４に記載された１以上の記憶装置であって、前記分析および前記除去は、前記画像のいずれかの補正よりも前に実行することを特徴とする装置。
18. 請求項１４に記載された１以上の記憶装置であって、前記分析、前記除去および前記赤目補正画像の前記生成よりも前に、前記第１セットの確認した赤目領域を最初に補正し、最初の補正画像を生成することをさらに含むことを特徴とする装置。
19. 請求項１４に記載された１以上の記憶装置であって、１以上の前記顔は、前記第２セットが空ではないセットを含むように少なくとも１つの赤目異常をさらに含むことを特徴とする装置。
20. 請求項１４に記載された１以上の記憶装置であって、前記第２セットは、前記画像中において、実際の赤目領域が補正されないように空のセットを含むことを特徴とする装置。

Images