JP4747163B2 - 人物画像における赤目補正 - Google Patents

Description

本発明は、画像処理に関し、特に、人物画像における赤目欠陥の補正に関する。

人物を撮影する際にフラッシュを使用した場合、人の瞳の部分が赤く見えることがある。この現象は「赤目」と呼ばれ、画質低下につながる。赤目現象は、赤い光が目の網膜に反射した後、瞳孔を通って目から出射し、カメラに戻ってくることにより生じる。

瞳が自然に見えるよう改善された画像を生成することを目的として、赤目を補正するための様々なアルゴリズムが提案されている。例えば、作業者が手作業で、写真の印画の赤目部分を黒色マーカーで塗るという方法がある。この方法は効果的ではあるが、かなりの手間がかかるため、高速現像処理や、画像をモニターで見たりスクリーンに映したりするデジタルシステムなどには向いていない。

赤目の検出は、手動（人間が介入する）又は自動（人間が介入しない）により行うことができる。いずれの場合も、検出された赤目欠陥は、画質改善のため補正をしなければならない。補正には、主に二つの局面がある。一つ目は、具体的にどの画素が色補正を必要としているかを判断することである。二つ目は、どのような処理によりそれらの画素の色を補正して画像改善を行うかを判断することである。いずれかの局面において誤りがあると、処理される画像に対して好ましくない補正を施すことになってしまう。

米国特許第５，４３２，８６３号においては、赤目となっている画素の彩度を下げて画素の明度を低減することで、赤目画素の色を補正している。しかし、赤目現象が生じている画素の彩度と明度とは互いに独立した関係ではないため、この補正は不完全なものである。結果として、この方法により補正した赤目欠陥部分は、過度に明るく又は暗く見えてしまうことがある。さらに、この方法には、グリント画素が別途識別して補正しなければならないという不都合がある。

国際公開第９９１７２５４号においては、赤目が生じている画素の色を、Ｒ，Ｇ，Ｂの最低限の色成分の加重関数に基づいた値で置き換えている。しかしながら、緑のチャネルは人の目で反射した赤い光に対してある程度の感度を有するので、この方法による赤目補正も最適なものではない。また、この方法は画素の最小値となった色成分値に基づいて補正を切り替えることから、補正済領域にノイズがあるように見えてしまう可能性がある。

赤目欠陥の境界は明確でない場合が多い。このため、赤目欠陥画素を決定するときに、自動アルゴリズムが、赤目とすべき画素を見逃したり、実際は赤目でない画素を含めたりしてしまう誤りが起こりやすい。このような誤判断の上に欠陥補正がなされると、好ましくない結果につながる。正確に識別されて色補正された赤目画素と、そうでない赤目画素とがある場合は、補正不足が起こる。この結果、人物被写体の瞳の一部は、なおも不適切に赤く見えてしまう。一方、非赤目画素が誤って赤目画素と判断され、色補正がなされた場合には、補正過剰が起こる。この結果、人物の顔の瞳でない部分（瞼など）が、本来赤目画素になされるべき色補正を受けてしまい、著しく好ましくない結果となる。

さらに、原画像における補正された画素とその近傍の画素とを、端部が不自然に粗くならないよう調和させるため、何らかの混合処理が一般的に必要となる。例えば、米国出願公開公報２００３／０００７６８７において、混合フィルタを用いる技術が開示されている。しかし、混合フィルタが全画像に対して同一のサイズを有している場合、一部の（例えば、小さな）顔において赤目欠陥が生じているとき、過度に平坦に見えることがあり、不適切なぼかしとなってしまう。他方、他の（例えば、大きな）顔においては、十分にぼかしが効いていないように見えてしまうことがある。米国出願公開公報２００３／０００７６８７には、作業者が混合の程度を調整すると記載されている。これは効果的かもしれないが、最適な結果を得るために作業者がこのような調整を行わなくてはならないのは、効率的でない。

このようなことから、補正過剰や補正不足の問題に対処し、任意の混合処理を行うことができる赤目補正の方法、製品、システムを提供することが望まれている。

米国特許第５，４３２，８６３号明細書 国際公開第９９１７２５４号明細書 米国出願公開公報２００３／０００７６８７号明細書

本発明は、請求の範囲により定義される。広義において、本発明は、人物のデジタル画像における赤目を補正する方法及びシステムであって、欠陥対間隔を測定するものである。欠陥対の要素のそれぞれは、画像における赤目欠陥である。各欠陥は、一またはそれ以上の画素を有する。これらの欠陥を、そのままの状態を保つか、あるいは大きさを縮小することで調整し、調整済欠陥とする。この調整処理は、初期の成長前欠陥を成長させた後に行うことができる。この調整処理は、欠陥対間隔に応じて、欠陥対間隔を用いて計算したサイズ上限値を超える画素を除外する工程を含むことができる。調整処理に続いて、調整済欠陥の色を変更し、赤目を軽減する。

本発明によれば、補正過剰や補正不足の問題に対処し、任意の混合処理を行うことができる赤目補正の方法、製品、システムを提供することができる。

以下の説明において、本発明の実施の形態をソフトウェアプログラムとして説明している。しかしながら、当業者であれば、そのようなソフトウェアの同等物をハードウェアにおいて構築することができることは明らかである。画像処理アルゴリズム及びシステムは公知であるため、本明細書では、本発明に係る方法の一部を形成する、もしくはより直接的に協働するアルゴリズム及びシステムについて特に説明する。このようなアルゴリズム及びシステム、及びそれらにおける画像信号を生成及び処理するためのハードウェア及び／又はソフトウェアの他の態様は、特に以下に示され、また説明されていないものであっても、従来のシステム、アルゴリズム、構成部品、構成要素等から適宜選択することができる。本明細書の記載において、ソフトウェアインプリメンテーションは全て従来のものであり、当業者の通常の知識の範囲内である。

本発明は、コンピュータハードウェアにおいて実現することができる。以下、図１を参照して、撮像装置１０、デジタル画像処理装置２０、画像出力装置３０、全体制御コンピュータ４０を有するデジタル撮像システムについて説明する。このシステムは、コンピュータコンソールや紙プリンタ等の作業者用ディスプレイ装置５０を含むことができる。このシステムはまた、キーボードやマウスポインタ等の作業者のための入力制御装置６０を含むことができる。

出力装置は、赤目補正を受けた最終画像を提供する。出力装置は、紙その他に印刷された最終画像のハードコピーを提供する、プリンタやその他の出力装置とすることができる。また、出力装置は、最終画像をデジタルファイルとして提供する出力装置であっても良い。さらに、出力装置は、印刷画像とＣＤやＤＶＤ等の記憶素子のデジタルファイル等の出力の組み合わせを提供するものであっても良い。

本発明は、デジタル画像を生成する複数の撮像装置１０において用いることができる。例えば、図１は、撮像装置１０がカラーネガフィルム又は反転フィルムに風景画像を保存する従来の写真フィルムカメラ及びフィルム上に現像された画像を読み取ってデジタル画像を生成するフィルムスキャナ装置としての機能を有する、デジタル現像システムを図示したものとすることができる。

さらに、撮像装置１０は、電荷結合素子やＣＭＯＳ撮像素子等の電子撮像素子を有する電子撮像装置（不図示）とすることもできる。電子撮像装置は、電子撮像素子から信号を受け取り、増幅した後、デジタル信号に変換し、この画像信号をデジタル画像処理装置２０に伝送するアナログ・デジタル変換器／増幅器を有することができる。

デジタル画像処理装置２０は、デジタル画像を処理し、所望の出力装置又は媒体において見た目の良い画像を形成する手段を提供する。本発明は、様々な出力装置３０を採用することができる。例えば、デジタル写真プリンタやソフトコピーディスプレイ等であるが、これに限らない。デジタル画像処理装置２０は、デジタル画像を処理して、画像出力装置３０において見た目の良い画像が形成されるように、デジタル画像の全体の明度、濃淡、画像構成等の調整を行う。本発明はここで述べた画像処理機能に限定されないことは、当業者にとって自明である。

図１に示す全体制御コンピュータ４０は、プログラムをコンピュータ読み取り可能な記憶媒体に記憶したコンピュータプログラム製品として、本発明を格納することができる。コンピュータ読み取り可能な記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク等）や磁気テープのような磁気記憶媒体、光ディスク、光学テープ、機械読取式バーコード等の光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）や読み出し専用メモリ（ＲＯＭ）等の固体電子記憶装置等である。本発明において関連するコンピュータプログラムは、図においてオフライン記憶装置７０と示されている、コンピュータプログラムを記憶するための他の物理機器又は媒体に記憶することもできる。本発明の説明に入る前に、理解を容易にするため、本発明は、パーソナルコンピュータのような周知のコンピュータシステムにおいて用いることが好ましいことを注記しておく。

なお、本発明は、ソフトウェア及び／又はハードウェアの組み合わせで実現することができるが、物理的に接続されている及び／又は同一の物理的位置にある装置に限らない。図１に示す一またはそれ以上の装置は、離れた場所に位置していたり、ネットワークを通じて接続されていても良い。また、一またはそれ以上の装置は、直接もしくはネットワーク経由での電波接続など、無線で接続されていても良い。

本発明は、様々なユーザコンテキスト及び環境において用いることができる。コンテキスト及び環境の例としては、卸売段階のデジタル現像（一般的に、フィルム挿入、デジタル処理、プリントアウト等の処理工程又は段階を含む）、小売段階のデジタル現像（フィルム挿入、デジタル処理、プリントアウト）、ホームプリント（フィルム又はデジタル画像のホームスキャン、デジタル処理、プリントアウト）、デスクトップソフトウェア（アルゴリズムをデジタル印刷に適用して改良又は変更を行うソフトウェア）、デジタルフルフィルメント（媒体から又はウェブ経由でのデジタル画像入力、デジタル処理、媒体にデジタル形式で、ウェブ上にデジタル形式で、又はハードコピー印刷としての画像出力）、キオスク（デジタル又はスキャン入力、デジタル処理、デジタル又はハードコピー出力）、モバイル機器（例えば、ＰＤＡ、携帯電話において、処理部、表示部、処理指示部等として使用）、ワールドワイドウェブ経由で供されるサービス等がある。

いずれの場合においても、本発明は、単独で、もしくはより大きなシステムソリューションの構成要素として用いることができる。さらに、ヒューマン・インタフェース（例えば、スキャンや入力）、デジタル処理、ユーザに対する表示（必要な場合）、ユーザ要求又は処理指示の入力（必要な場合）、そして出力は、同一又は別々の装置及び物理的位置において行うことができ、装置間または位置間の通信は、パブリック又はプライベートネットワーク接続もしくは媒体通信によって行うことができる。本発明の前述の開示と相反しなければ、本発明の方法は全自動とすることもできるし、ユーザに（完全に又は部分的に手動で）入力させても良く、ユーザ又はオペレータに結果を承認又は拒絶するか検討させても良く、さらに補助としてメタデータ（ユーザが提供したもの、測定装置（例えば、カメラに内蔵）により生成したもの、あるいはアルゴリズムにより決定したものとすることができる）を利用しても良い。さらに、アルゴリズムは、様々なワークフローのユーザインタフェースと連動しても良い。

本発明は、以下に記載の実施の形態の組み合わせを含む。「特定の実施の形態」等と述べる場合は、本発明の実施の形態の少なくとも一つに含まれる特徴を指す。「実施の形態」「特定の実施の形態群」等と別に述べる場合は、同特定の実施の形態を指すとは限らないが、このような実施の形態は、特に指摘があるか、当業者にとって自明でない限りは、排他的関係にはない。

デジタル画像は、一またはそれ以上のデジタル画像チャネルもしくは色成分を含む。各デジタル画像チャネルは、画素の二次元アレイである。各画素値は、撮像装置により、画素の物理領域において受光された光の量に関する。カラー画像の撮像用途においては、デジタル画像は、多くの場合、赤、緑、青のデジタル画像チャネルを含む。動画の撮像用途においては、動画を一連のデジタル画像とみなすことができ、個々の画像として処理する、もしくは特定の順序列における最初の画像を処理し、後に続く画像に必要な変化を概算することにより処理することができる。当業者であれば、本発明は、上述の用途のいずれにおけるデジタル画像チャネルに対しても適用することができるが、これに限られるものではない。デジタル画像チャネルは行方向及び列方向に配置された画素値の二次元アレイとして説明されているが、本発明は、直線的でないアレイにも同様に適用可能であることは、当業者にとって自明である。さらに、下記の説明において、元の画素値を処理済の画素値に置き換えるとして説明されたデジタル画像処理工程は、元の画素値を維持しながら処理済の画素値を有する新たなデジタル画像を生成するものと説明しても機能的に同等であることは、当業者にとって自明である。

図１に示すデジタル画像処理装置２０は、図２により詳細に示されているように、本発明の方法を実行するためにプログラムされている。元デジタル画像１０２は、画像撮像装置（図１に図示）から、様々な色表現として受信される。便宜的な実施の形態においては、元デジタル画像は、赤、緑、青のデジタル画像チャネルを有するカラーデジタル画像である。元デジタル画像の画素値は、風景画像強度の対数に関連し、各色チャネルの各画素値は、０〜４０９５の１２ビット値として表される。１８８コード値ごとに、風景画像強度（すなわち、絞り）が倍加することを表す。例えば、１６８８の値を有する第一の画素は、１５００の値を有する第二の画素の二倍の風景画像強度を表す。

本発明は、他の符号化方式を用いても同様に機能する。この場合、方程式の定数や関数の形を適宜修正することが必要である。

デジタル画像１０２は、デジタル画像処理装置２０に入力され、赤目検出及び補正が行われる。図２は、デジタル画像処理装置２０を示すブロック図である。デジタル画像１０２は、赤目欠陥検出部１１０に入力され、好ましくない赤目欠陥が検出される。赤目欠陥検出部１１０は、赤目欠陥対１１２を出力する。各欠陥対１１２は、左側要素と右側要素とを有する（「左」「右」という表現は、便宜上使用するもので、画像上の人物の左目と右目とを指す。赤目欠陥検出部１１０は、画像における頭部の方向に関係なく目を検出しても良いし、特定の頭部の方向のみに限定して検出しても良い）。処理中、欠陥対１１２の要素が明確になるに従い、その要素を指す語も変化する。例えば、「成長前欠陥」は、「成長済欠陥」に置き換えられる。これは、それぞれ欠陥領域内であるとされた画素位置の変化を反映したものである。なお、「欠陥対」という語は、いずれの場合においても適用される。

赤目欠陥検出部１１０は、画像における単一の欠陥対もしくは複数の欠陥対を検出することができる。さらに、必要に応じて、赤目欠陥検出部１１０は、赤目欠陥が検出されなかった旨、もしくは赤目欠陥が単独の箇所のみで検出された旨を示す表示を行うことも可能である。この表示による注意喚起によって、作業者は、手動での検査を行ったり、単一欠陥（欠陥対１１２ではなく）を補正する欠陥補正を適用する処理を行ったりすることができる。

赤目欠陥検出部１１０は、公知のものを用いることができる。現時点で好ましい赤目欠陥検出部１１０としては、米国特許第６，２９２，５７４号（Ｓｃｈｉｌｄｋｒａｕｔ他）に記載のものがあり、同出願を全体にわたり本願に援用する。簡潔に要約すると、米国特許第６，２９２，５７４号記載の赤目欠陥検出部１１０により、デジタル画像における肌領域を色や形に基づいて識別し、サイズを変更して分析を行う。各肌領域について、小さな赤色の欠陥候補の対を探し出す。そして、様々なスコア（例えば、左右の調和度や目のテンプレートとの適合度に関するスコア等）について分析し、画像内で赤目欠陥対１１２である可能性がある箇所の位置を示す最終分類を行う。赤目欠陥検出部１１０は、分析画像サイズを標準に戻すか、画像内の顔又は肌領域のサイズを標準に戻すように補間することで、内部でデジタル画像１０２のサイズを測ることができる。

各欠陥対１１２は、二つの成長前欠陥（以下、「未成長欠陥」ともいう）を有し、それぞれ人物の顔の左目と右目とに対応する。各成長前欠陥は、一の画素もしくは二以上の連続画素群を有する。便宜上、以下の実施の形態においては、それぞれの未成長欠陥が単一の画素を有する場合について説明するが、複数の画素を有する成長前欠陥においても同様に適用可能である。当業者であれば、一の画素を有する成長前欠陥に対して行う同様の処理に代えて、複数画素を有する成長前欠陥を中心等と相対的な画素群として扱うことができることは明らかである。

二つの成長前欠陥は、画像内で隣接していない。二つの成長前欠陥は、少なくとも３〜５画素かそれ以上離間した位置にあることが好ましい。成長前欠陥間の距離がこれより短い人物画像については、本発明は効果的でない。

欠陥対１１２の各成長前欠陥は、画素のリスト（赤目欠陥が発生している（ｘ、ｙ）座標位置）で表すことができる。画素色値は、リストにある画素に任意に付することができる。また、欠陥対１１２は、画像マップとし、赤目欠陥検出部１１０により赤目欠陥が生じていると判定された画素には他の画素とは異なる値を付すこともできる。

一またはそれ以上の欠陥対に加え、赤目欠陥検出部１１０は、各欠陥対について倍率Ｓを、また各成長前欠陥について検出赤目サイズＲｓを出力する。倍率Ｓは、分析期間中、赤目欠陥検出部１１０によって行われるデジタル画像１０２の比例的サイズ変更を表す。検出赤目サイズＲｓは、サイズ変更されたデジタル画像の分析において、赤目欠陥検出部１１０により決定されたそれぞれの成長前欠陥のサイズの測定値である。Ｒｓは、便宜上、成長前欠陥における画素の数として測定され、赤目欠陥が発生している左目又は右目の画素数を表す。倍率Ｓ及び赤目サイズＲｓ（「参考情報１１３」ともいう）は、赤目欠陥検出部１１０から出力され、欠陥補正部１１４へ入力される。欠陥補正部１１４へ供給される際、各倍率Ｓはそれぞれの欠陥対と関連付けられ、各赤目サイズＲｓはそれぞれの成長前欠陥と関連付けられる。

欠陥対１１２と参考情報１１３とは、デジタル画像１０２とともに欠陥補正部１１４に入力される。欠陥補正部１１４は、デジタル画像１０２の画素のうち補正すべき画素を、欠陥対１１２に基づいて決定する。欠陥補正部１１４は、決定された画素の色を、赤目欠陥の視認度を減少するよう補正し、改良デジタル画像１２０を出力する。

図３は、欠陥補正部１１４をより詳細に示す図である。欠陥補正部１１４は、後述する構成要素１２５、１２７、１２９、１３２、１３４、１３６、１３８を有する。欠陥箇所対１１２及びデジタル画像１０２が欠陥成長部１３０に入力される。欠陥成長部１３０は、欠陥箇所を開始位置として、各欠陥と関連のあるデジタル画像１０２の全ての画素を見つけるために用いられる。

下記の手順により、欠陥を成長前欠陥から成長済欠陥へと成長させる。まず、成長前欠陥の画素の位置を、欠陥要素のリスト（欠陥部分における各画素のリスト）に配置する。そして、下記の工程を実行し、完了要件が満たされるまで繰り返す。
１．欠陥要素リストにおける現在の画素の近隣にある全ての画素の集合を決定する。
２．近隣画素の集合のうち、欠陥画素候補の下位集合を決定する。下位集合が空である場合は、完了要件が満たされており、成長処理を完了する。
３．各欠陥画素候補について、色値比を計算する。全ての欠陥画素候補に対する色値比が所定の上限比の範囲内である場合は、完了要件が満たされており、成長処理を完了する。
４．一またはそれ以上の色値比が上限比を超えている場合は、上限比から最も離れた色値比を有する画素を、欠陥要素リストに加える。
５．欠陥要素リストを、所定の領域サイズ上限値と照合する。領域サイズ上限値に達しているか上回っている場合は、完了となり、成長処理を完了する。
６．完了に達するまで、ステップ１〜５を繰り返す。

ステップ１等において、画素の縁部又は隅部、もしくは両方が接している場合、画素は近隣にあるとみなす。ステップ２において、欠陥画素候補の下位集合は、全ての近隣画素又は画素色条件等の基準を満たしていない近隣画素と定義することができるが、赤目欠陥画素である確率がゼロではない近隣画素とすることが好ましい。この条件は、下記のように表すことができる。
Ｐｒ（ｒｅｄｅｙｅ｜ｃｏｌｏｒ）＞０
確率関数Ｐｒは、準備段階において、多数の画像を分析して既知の赤目及び非赤目画素を手作業で分類することで、発見的方法により決定することができる。非ゼロ確率を有している近隣画素がない場合は、成長処理を完了する。

ステップ３において、計算された色値比は、それぞれの人物の顔の他の画素と同じ色空間における各欠陥画素候補の測定値とする。特定の実施の形態において、色値比の分子は、画素の色値と最初の欠陥箇所の色値との間の距離である。この色値比の分母は、画素の色値と肌領域の平均色値との間の距離である。所定の上限比Ｔ₀よりも少ない関連比を有する画素がない場合は、成長処理を完了する。この比は、両方とも赤みがかった色を有し、赤目が発生している画像における目の周りの領域に現れる、赤目画素と肌画素とを区別する上で特に重要である。便宜的な所定の上限比はＴ₀＝０．５である。この閾値Ｔ₀は、デジタル画像１０２の色空間表現によって異なる。ステップ４においては、この所定の上限比を用いて、画素が０．５より少ない色値比を有する場合には、最も少ない色値比を有する画素を、欠陥要素リストに加える。

ステップ５においては、領域サイズ上限値Ａ₀に達しているか上回っている場合は、成長処理を完了する。領域サイズ上限値Ａ₀は、便宜的に画素数で表される。この場合、要素リストにおける要素の数が少なくともＡ₀である場合には、成長処理を完了する。領域サイズ上限値Ａ₀は、欠陥対１１２の二つの成長済欠陥の間の距離の関数とすることができる。距離は、距離測定部１２５によって測定されるものであり、後で詳述する。現時点において、領域サイズ上限値は、次の式で表されることが好ましい。
Ａ₀＝ＫＲ_D ²
ただし、Ｋは０．１、Ｒ_Dは欠陥対１１２の欠陥間の距離を画素単位で測定したものである。

欠陥成長部１３０は、成長済欠陥を出力する。この出力は、欠陥成長部１３０により赤目欠陥が生じていると判定された画素は他の画素とは異なる値を付されている画像マップの形式とすることができる。また、成長済欠陥は、欠陥成長部１３０により赤目欠陥が生じていると判定された画素のリスト（（ｘ、ｙ）座標位置）として出力することもできる。必要に応じて、リスト中に画素色値を含むこともできる。さらに、成長済欠陥は、画素と、各画素に関連付けられた、それぞれの画素に赤目が発生している度合いを示す確信値の表として表すこともできる。例えば、確信値は、特定の画素が赤目欠陥となっている確率を示す、０〜１００％の範囲の値とすることができる。

サイズ確認部１３２は、成長済欠陥サイズＱを測定し、Ｑが成長済上限値に達している又は超えているかどうか判定する。特定の実施の形態においては、サイズ確認部１３２は、成長済欠陥のサイズを画像における実際の欠陥の期待サイズと照合する。成長済欠陥が期待欠陥サイズよりも大幅に小さい場合は、部分補正や過少補正を当然に予測する。部分補正をすると、瞳孔の一部分のみ赤目欠陥が生じているような画像や、より深刻には、補正がなされていないように見える画像となってしまう。不適切な部分補正の可能性がある場合には、サイズ確認部１３２は、欠陥成長部１３０による成長手順を繰り返させる。

特定の実施の形態においては、サイズ確認部１３２は、成長済欠陥と参考情報１１３とを入力し、サイズ変更因数Ｓと、サイズ変更されたデジタル画像において赤目欠陥検出部１１０により求められた成長前欠陥サイズＲ_Sとに基づいて、成長済欠陥に対する期待値を演算する。期待欠陥サイズは、下記のように求めることができる。
Ｅ_S＝Ｓ²Ｒ_S
ただし、Ｅ_Sは欠陥の期待サイズ、Ｓは赤目欠陥検出部１１０により用いられる倍率、Ｒ_Sは成長前欠陥のサイズを示す。
画素の数は、Ｑ，Ｅ_S，Ｒ_Sの便宜的な単位である。Ｑ＜１／２Ｅ_Sである場合は、成長済欠陥は許容範囲になく、過少補正を表しているとされる。それ以外の場合は、サイズ確認部１３２により、成長済欠陥は許容範囲にあるとみなされる。

欠陥の期待サイズは、欠陥の期待領域、欠陥の期待形状、欠陥の期待半径等、他の方法により計算することも可能である。例えば、本方法を倍率が一定である画像群に適用する場合は、Ｅ_Sを経験的に決定された定数に設定することができる。同様に、Ｑ＜１／２Ｅ_Sの関係は、特定の要件を満たすために変化しうる。例えば、Ｅ_Sが期待欠陥半径を表す場合には、同様の関係は、
Ｑ＜０．７０７Ｅ_S
となる。ＱとＥ_Sとは上述のとおりである。

サイズ確認部１３２が、成長済欠陥が許容範囲にないと判定した場合は、成長前欠陥が画像における他の初期条件の位置を移動することで変化し、以下の説明において「補正済欠陥」と呼ぶものとなる。そして、欠陥成長部１３０は補正済欠陥に対して処理を行う。初期条件がわずかに異なるため、結果として生成される成長済欠陥も、最初に生成された成長済欠陥とは異なる。

特定の実施の形態において、補正済欠陥は、新たな画素位置を有する新たな成長前欠陥となる。単一の画素からなる成長前欠陥については、新たな成長前欠陥は、元の単一画素成長前欠陥の小規模近隣範囲において最も赤色が飽和している画素を求めることにより決定する。好適な小規模近隣の例としては、元の単一画素成長前欠陥から５画素の距離内か、欠陥対間隔Ｒ_Dの一部分（Ｒ_Dは後で詳述する）である。あるいは、新たな成長前欠陥は、他の方法により決定することもできる。例えば、新たな成長前欠陥は、元の成長前欠陥の上述のような小規模近隣範囲内における、全ての赤色画素の平均値に最も近い色値を有する画素を求めることにより選択することもできる。これらの手段は、複数画素からなる成長前欠陥に対しても、欠陥の画素全てに対する近隣、もしくは複数画素成長前欠陥の中心における画素に対する近隣を定義することにより、同様に適用することができる。

欠陥成長部１３０は、新たな成長前欠陥位置とともに成長処理を再開し、サイズ確認部１３２が成長済欠陥が許容範囲にあると判定するまで、もしくは、所定の繰り返し数に達するまで処理を繰り返す。便宜的な繰り返し数は４回である。繰り返し数の上限値に達した場合は、成長済欠陥を最初の成長済欠陥（許容範囲にないと判断されたもの）と同等にリセットする。あるいは、サイズ確認部１３２が、成長済欠陥が許容範囲内にないと引き続き判断した場合や、許容された繰り返し数を終えてしまった場合は、欠陥対１１２を無視する（補正を適用しない）ようにしても良い。これにより、画像に、不適切な補正がなされるのを防ぐことができる。さらに別の方法として、アルゴリズムにより成長済欠陥を確実に補正するために手動モードでの支援を行うよう、作業者（人）に通知しても良い。

距離測定部１２５は、欠陥対の要素間の距離を測定する。欠陥対間隔Ｒ_Dは、成長済欠陥による過剰補正を防ぐために用いられる。欠陥対間隔は、処理の様々な段階において計算することができる。測定値の便宜的な単位は画素である。

特定の実施の形態において、欠陥対が単一の画素からなる成長前欠陥の対である場合は、値は下記のように表される。
左側成長前欠陥：（ｘ₁，ｙ₁）
右側成長前欠陥：（ｘ₂，ｙ₂）
距離測定部１２５は、単一画素の成長前欠陥対間の距離を、下記のような周知の距離計算式を用いて測定する。
Ｒ_D＝√｛（x₁−ｘ₂）²＋（ｙ₁−ｙ₂）²｝

成長前欠陥が、一以上の画素を含む場合は、欠陥対間隔Ｒ_Dは、成長前欠陥の中心間の距離である。欠陥対間隔は、成長前欠陥と欠陥対の他の要素の中心との距離に基づくものとすることもできる。あるいは、欠陥対間隔は、成長済欠陥対を有する欠陥対と同じ方法で計算することもできるが、この方法は、欠陥成長処理の影響を受けやすい。

サイズ制限部１３４は、成長済欠陥とそれぞれの欠陥対間隔とを入力し、欠陥対間隔に応じて、成長済欠陥の調節を行う。この調節においては、成長済欠陥をそのままの状態に保持するか、削減つまり成長済欠陥のサイズの縮小するかのどちらかを行う。サイズ制限部１３４は、除外すべき成長済欠陥のある画素を判別することで過剰補正を防ぎ、調整済欠陥を出力する。

サイズ制限部１３４は、瞳孔半径と両目間の距離との比が比較的狭い分布となるため、効果的である。より多くの情報が利用可能である場合は、補正因子を適用して分布をさらに狭くすることで、サイズ制限部１３４の効果性をさらに高めることができる。補正因子とは、年齢分類、頭の回転度合い、撮像系による不鮮明さ、またはこれらの二つ以上の組み合わせ等に基づいた差分の補正に関するものである（後で詳細に説明する）。

サイズ制限部１３４は、二段階に分けて成長済欠陥の調整を行う。各段階において、人物の顔、瞳の大きさ（従って、赤目欠陥のサイズ）は両目間の距離に関連するという観測に基づいてサイズ上限値を設ける。赤目欠陥対１１２が、左側及び右側の欠陥の箇所を実際に表している場合は、距離Ｒ_Dは、画像上の人物被写体の画素単位で測定した両目間の距離にほぼ等しい。

第一の段階において、サイズ制限部１３４は、成長前欠陥までの距離が、第一のサイズ上限値Ｓ_L1より大きい成長済欠陥から、画素を取り除く。サイズ制限部１３４は、赤目欠陥間の距離Ｒ_Dから、第一のサイズ上限値Ｓ_L1を求める。第一のサイズ上限値は、下記により求めることができる。
Ｓ_L1＝Ｒ_D×Ｔ₁＋Ｔ₂
ただし、Ｓ_L1は第一のサイズ上限値、Ｒ_Dは欠陥対間隔、Ｔ₁は０．１２〜０．２０の範囲の定数、Ｔ₂は０．０〜３．０の範囲の定数である。
Ｔ₁は、人の瞳孔の最大直径を瞳孔間の距離で割った値であり、多数の人の瞳孔の大きさと瞳孔間の距離とを測定し、人の瞳孔間の最大及び平均又は中間距離を求めることにより決定することができる。Ｔ₂は、距離Ｒ_Dが異常に低い場合に、第一のサイズ上限値Ｓ_L1により過剰に削減を行って欠陥に損傷をきたさないよう、十分な「安全率」を確保するためのものである。Ｔ₁の便宜的な値は０．１８である。Ｔ₂の便宜的な値は０である。

次に、成長済欠陥の各画素について、その画素と成長前画素の間の第一の調整距離D_Sを、周知の距離計算式により計算する。第一の調整距離D_SがＳ_L1より大きい場合は、その画素を成長済欠陥から取り除く。そうでない場合は、画素を成長済欠陥に残す。図４は、成長済欠陥１４０、その成長前欠陥１４２、それぞれのＤ_SがＳ_LIを上回っているため、第一段階において成長済欠陥１４０から取り除かれる画素１４４、そして、それぞれのＤ_SがＳ_LIを上回っていないため、取り除かれない画素１４６の例を示している。

第二段階において、サイズ制限部１３４は、図５に示すように、欠陥領域中心１５２から、第二のサイズ上限値よりも遠く離れた欠陥領域から画素を取り除く。欠陥領域中心［ｘ_c，ｙ_c］の場所は、下記のように計算することができる。

ただし、Ｑは現在成長済欠陥にある画素数、（ｘ_i，ｙ_i）は、成長済欠陥に属するｉ番目の画素の座標位置とする。
成長済欠陥の各画素について、その画素と中心（ｘ_c，ｙ_c）との間の第二の調整距離Ｄ_Cは、周知の距離計算式を用いて計算することができる。

第二のサイズ上限値は、下記により求めることができる。
Ｓ_L2＝Ｒ_D×Ｔ₃＋Ｔ₄
ただし、Ｓ_L2は第二のサイズ上限値、Ｒ_Dは欠陥対間隔、Ｔ₃は０．０５〜０．１０の範囲の定数、Ｔ₄は０．０〜３．０の範囲の定数である。

Ｔ₃は、発見的方法により決定された、大きな赤目欠陥の最大半径を、人の瞳孔間の標準的な距離で割った値である。多数の画像からの測定値を抽出した結果、（正面の）顔の十分に大きな画像において、瞳孔の半径は瞳孔間の距離の０．０７２倍を上回ることはないということが分かった。実際、瞳孔は最大の状態に拡張されていることは通常ないことから、この距離は普通はより小さな値となっている。未知の表情を含む人の顔の画像に対しては、Ｔ₃の便宜上の値は０．０７２である。

Ｔ₄は、デジタル画像１０２を撮像するために用いられる撮像系の不鮮明さを表す。小さな顔に対しては、赤目が生じている欠陥画素間の距離は、光学系のブレやピンぼけにより、赤目現象が瞳孔の周囲の画素に広まるため、０．０７２×Ｒ_Dより大きくなり得る。第２のサイズ上限値を計算するとき、ブレ量は、定数Ｔ₄で表す。ブレは、ブレ半径の画素単位で表される、撮像系のブレ半径として便宜上表現される。画像を撮像した撮像系における実際のブレ半径が既知の場合は、Ｔ₄をその数値で置き換えることができる。未知の撮像系の場合は、Ｔ₄を便宜的に２．０とする。

第二の調整距離Ｄ_CがＳ_L2より大きい場合は、画素を成長済欠陥から取り除き、そうでない場合は、画素を取り除かない。図５は、一部調整済成長済欠陥１５０を示しており、第一段階完了後の図４に示す成長済欠陥に対応するものである。一部調整済成長済欠陥１５０は、成長前欠陥１５２と、Ｄ_CがＳ_L2より大きいため取り除かれる画素１５４と、Ｄ_CがＳ_L2以下であるため保持される画素１５６と、を有する。第一と第二の調整の順番は逆でも良く、成長済欠陥中心に基づく調整を、その成長済欠陥の成長前欠陥の位置に基づく調整より前に行っても良い。ただし、経験的に、上述の方法の方が高度な補正を行える。

カメラの像平面に対する被写体の頭部の回転角によっては、欠陥対間隔Ｒ_Dが、人物被写体の目の実際の間隔と比例しない場合がある（頭部の回転は欠陥対間隔Ｒ_Dに影響するが、目は頭部とはある程度独立して回転し、頭部が回転しても目はカメラをまっすぐ見据えたままとなっていることもあるため、頭部の回転が画像において赤目欠陥の大きさに影響を及ぼすとは限らない）。被写体がカメラと真正面にあるとき、すなわち被写体の目を結ぶ線が像平面と平行なときは、欠陥対間隔Ｒ_Dは、実際の眼間隔と比例する。目が回転した位置にある画像の場合は、欠陥対間隔Ｒ_Dは、上記の式において、内部垂直軸に対する頭部の回転に対し不変である補正済離間距離Ｒ_Mで置き換えることができる。Ｒ_Mは、次の式で表すことができる。
Ｒ_M＝Ｒ_D／ｃｏｓＡ
ただし、Ｒ_MとＲ_Dとは上述の通りであり、回転角Ａは、被写体人物の目を結ぶ想像線と、像平面との間の最小角度である。回転角Ａは、頭部の上端から下端までを通る垂直軸に対する頭部の回転角である。例えば、被写体がカメラを真っ直ぐ見ている場合は、角Ａは０である。画像が、左横顔の像である場合は、角Ａはｐ／２ラジアンである。

頭部姿勢（及び角Ａ）は、画像を自動分析することにより導くことができる。この手順の一例が、Ｋ．Ｃｈｏｉ他、“Ｅｓｔｉｍａｔｉｎｇ Ｆａｃｉａｌ Ｐｏｓｅ Ｕｓｉｎｇ ｔｈｅ ＥＭ Ａｌｇｏｒｉｔｈｍ”、第９回イギリス機械視覚会議（Ｎｉｎｔｈ Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ） [オンライン]，１９９８年（検索日：２００４年３月１日），ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｂｍｖａ．ａｃ．ｕｋ／ｂｍｖｃ／１９９８／ｐｄｆ／ｐ１４７．ｐｄｆに開示されている。Ｃｈｏｉ他は、２Ｄ特徴位置に適合させた３Ｄテンプレートの２Ｄ投影を用いて、３Ｄの顔姿勢を推定する技術を紹介している。この方法は、３Ｄテンプレートの制御点を、オイラー回転方式と正射投影法とにより、２Ｄに投影する。投影された制御点について、２Ｄ特徴位置を参照して検討することで、オイラー回転の最新の推定値を見出す。この方法を、３Ｄの顔姿勢を記述したオイラー回転の最終集合に達するまで繰り返す。

頭部回転角決定部１２９は、欠陥対に対応する人物被写体の顔の画像を分析し、面内回転角Ａを出力して、第二のサイズ上限値Ｓ_L2の値の決定に用いるため、サイズ制限部１３４に入力する。例えば、回転に依存しない第二のサイズ上限値Ｓ_L2の値は、頭部回転角を基に、下記のように計算することができる。

ただし、Ｓ_L2'は回転に依存しない第二のサイズ上限値、Ａは頭部の上端から下端を通る垂直軸に対する頭部回転角、Ｒ_D、Ｔ₃、Ｔ₄は上述の通りである。

さらに別の方法として、瞳孔半径と両目間の距離との比は、人物被写体の年齢に大きく依存しているということが観察された。乳児や幼児の場合、被写体が真正面で撮影され、瞳孔が最大に開いた状態であるとき、この比（ブレは無視とする）は、最大でおよそ０．０７２に達する。一方、成人の場合は、比は最大でおよそ０．０５である。したがって、第二のサイズ上限値をさらに改善するためには、人物被写体の年齢を、おおよそのカテゴリ分類（例えば、乳児、小児、１０代、成人）等として判別する。そして、第二のサイズ上限値Ｓ_L2を決定するために用いるＴ₃の値を、年齢カテゴリに基づいて選択する。例えば、人物被写体が乳児と分類された場合は、Ｔ₃＝０．０７２とする。一方、人物被写体が成人と分類された場合は、Ｔ₃＝０．０５とする。米国特許第５，７８１，６５０号（Ｌｏｂｏ他）は、人の顔の年齢分類を自動的に行う方法を開示しており、同出願を全体にわたり本願に援用する。任意で設けられる年齢決定部１２７は、欠陥対に対応する人物被写体の顔の画像を分析し、年齢分類を出力して、第二のサイズ上限値Ｓ_L2の値の決定に用いるため、サイズ制限部１３４に入力する。

特定の実施の形態において、赤目欠陥位置間の距離、頭部回転角、年齢分類、画像を撮像した光学系のブレ量等を含む情報は、サイズ上限値を効果的に設けるために用いられる。

調整済欠陥は色補正部１３６に入力され、調整済欠陥に含まれるデジタル画像画素の色を、赤目を減少するよう補正する。全ての調整済欠陥を補正した後、色補正部１３６の出力は、赤目欠陥が修正された色補正済画像ｐ（ｘ，ｙ）であり、人の瞳が赤でなく、黒く見えるものとなる。検出された赤目画素を補正するための方法としては、様々なものが当業者に知られている。

特定の実施の形態では、調整済欠陥の画の色を、赤色の光に対する感度が最も低い色成分で置き換えることにより補正する。カラー画像は、色情報の一またはそれ以上の色成分値（又はチャネル）を含む。一般的なデジタルカメラは、赤、緑、青の色成分を有する元デジタル画像１０２を生成する。すなわち、画像ｐ（ｘ，ｙ）の角画素位置には、赤ｐ_R（ｘ，ｙ）、緑ｐ_G（ｘ，ｙ）、青ｐ_B（ｘ，ｙ）の成分値がある。この場合、赤色の光に対する感度が最も低い色成分は青色成分である。

置換処理においては、赤色が最も少ない成分の値を求める。すなわち、赤色スペクトルに対する感度が最も少ないデジタル画像の色成分の値を決定する。以下、「スペクトル感度」とは、色成分（チャネル）の単色光刺激に対する感応性の度合いを指す。例えば、デジタル画像のＲＧＢ色成分について、赤色成分は単色赤色光刺激に対して最も高いスペクトル感度を有する。青色成分は、赤色成分は単色赤色光刺激に対して最も低いスペクトル感度を有する。スペクトル感度は、異なる色空間同士の変換を含め、デジタル画像を得るために用いられる撮像系の関数である。色再現については、該当する色成分のスペクトル感度は、初期設定により必ず識別又は指定される。

赤色の光に対する感度が最も低い色成分が青要素である場合は、下記のように補正を行う。補正済欠陥の各画素について、全ての色成分値を青色成分値で置き換えることにより、色を補正する。赤色、緑色、青色成分を有するデジタル画像の補正済欠陥に含まれる画素の色補正は、下記のように記述できる。
ｐ_R（ｘ，ｙ）＝ｐ_B（ｘ，ｙ）
ｐ_G（ｘ，ｙ）＝ｐ_B（ｘ，ｙ）
青色成分を補正する必要はなく、目のグリントに対しても、赤目画素の補正と同様の補正技術により対応することができる。したがって、この補正方法は極めて迅速に補正を行うことができるという利点を有する。

青色成分を用いて赤目画素の赤色及び緑色成分を補正する上述の方法により、他の方法より好ましい赤目欠陥補正を行うことができる。これは、単なる経験論ではなく、データ分析によってもその根拠が示されている。

人間の瞳孔の多数の画像の画素値について、考察を行った。瞳が赤目欠陥のように見える場合は「赤目瞳孔」、赤目欠陥のようには見えない場合は「非赤目瞳孔」と分類した。平均して、赤目画素の赤色成分は、非赤目画素の赤色成分に比べて９５％も多い露光を受けていた。赤目画素の緑色成分は、非赤目画素の緑色成分に比べて３６％多い露光を受けていた。一方、赤目画素の青色成分が受けた露光は、非赤目画素の青色成分に比べて２２％多いのみであった。一般的に、赤目欠陥は、被写体に対するフラッシュ露光が多いときに起こりやすい。したがって、このデータ分析により、他の色成分を修正するために青色成分を基準として用いるのは妥当であることが分かる。

さらに、青色成分に基づいて補正を行う他の方法として、色補正部１３６において下記のようにすることもできる。
ｐ_R（ｘ，ｙ）＝ｐ_B（ｘ，ｙ）＋Ｔ₅
ｐ_G（ｘ，ｙ）＝ｐ_B（ｘ，ｙ）＋Ｔ₅
ｐ_B（ｘ，ｙ）＝ｐ_B（ｘ，ｙ）＋Ｔ₅
ただし、Ｔ₅は補正済赤目欠陥を所望の明度に調整するために用いる定数とする。例えば、Ｔ₅の値は、補正済赤目の所望の明度とデジタル画像１０２の色空間表現とに応じて、０〜−２０の範囲とすることができる。

あるいは、色補正部１３６は、近隣の肌領域の色特性に基づいた補正を適用することができる。赤目欠陥のない顔の画像（すなわち、瞳孔が黒く見える画像）に対する研究から、肌の明るさと瞳孔の明るさとの間にある関係があることが分かった。例えば、赤目が生じることなく人物を撮像した場合は、瞳孔を表す平均的な画素は、同一の顔における肌画素に比べて（ＲＧＢ画像の緑色成分を考慮して）、１１％の露光（絞り３．１９の露光減少）となっている。この関係は、赤目欠陥が発生していない人物画像における肌の色と瞳孔の色とを分析することにより得られた。

特定の実施の形態において、色補正部１３６は、欠陥対１１２と関連付けられた肌領域の平均肌色に基づいて、対象瞳孔値Ｖを求める。次に、色補正部１３６によって、補正済欠陥の全ての画素の全ての色成分について、対象瞳孔値Ｖにより置き換える。一例として、ｓＲＧＢ色空間の画素毎の色成分が各８ビットである場合、対象瞳孔値は、下記の等式により決定することができる。

ただし、Ｆａは、欠陥を含む肌領域の緑要素の平均値を示す。

例えば、肌値の平均が１５０である場合、対象瞳孔値Ｖは２１である。ニューヨーク州ロチェスターのイーストマン・コダック社（Ｅａｓｔｍａｎ Ｋｏｄａｋ Ｃｏｍｐａｎｙ）製のＤＸ７６３０等のデジタルカメラにおいて、ｓＲＧＢコード値２１とする情景の露出値は、ｓＲＧＢコード値１５０とする情景の露出値よりもおよそ絞り３．１９低い。

そして、色補正部１３６は、次の等式にしたがって、補正済欠陥の画素の色を補正する。
ｐ_R（ｘ，ｙ）＝Ｖ
ｐ_G（ｘ，ｙ）＝Ｖ
ｐ_B（ｘ，ｙ）＝Ｖ

色補正部１３６から出力された色補正済デジタル画像は、欠陥混合部１３８に入力される。欠陥混合部１３８は、欠陥画素と境界画素との間の境界を見えにくくするよう処理を行う。空間演算子を計算する。

空間演算子は、Ｎ×Ｎフィルタであることが好ましい。位相を確保するため、Ｎは奇数でなければならない。サイズＮは、補正済欠陥のサイズに基づいて決定する。調整済欠陥が２８画素を下回らない場合はＮ＝５とするのが便宜上好ましく、下回る場合はＮ＝３とするのが好ましい。小さな空間演算子を用いて小さな調整済欠陥を混合することにより、ぼかし過ぎによって人物被写体の目が望ましくない状態に見えてしまうことを避けることができる。

他の空間演算子としては、サポートを四角い領域でなく、円形の領域とすることができる。

特定の実施の形態において、空間演算子は、対称的なローパスフィルタである。空間演算子Ｆ（ｉ，ｊ）の係数の相対値は、下記の通りである。

そして、フィルタＦ（ｉ，ｊ）を、係数の合計が１．０となるように規格化する。

欠陥混合部１３８は、以下のように動作する。各画素について、Ｎ×Ｎの近隣を調べる。近隣領域内の調整済欠陥に属する画素の数Ｐを表で表す。数Ｐは、０〜Ｎ²の範囲内の数である。数Ｐが０（調整済欠陥に属する画素がない）又はＮ²（近隣領域内の全ての画素が調整済欠陥に属する）である場合は、画素はそのままとする。それ以外の場合は、色補正部１３６によって補正された各色チャネルについて（上述の特定の実施の形態においては、青色成分は色補正部１３６による補正はなされないため、欠陥混合部１３８による補正もなされない）、ぼかし処理済画素値Ｂ_C（ｘ，ｙ）を下記のように畳み込み計算する。

ぼかし処理済画素値は、下記の通りである。
Ｉ_C（ｘ，ｙ）＝（１−Ｗ）ｐ_C（ｘ，ｙ）＋ＷＢ_C（ｘ，ｙ）
ただし、Ｗは０〜１の範囲である。
Ｗは、上述の、補正済欠陥に属するＮ×Ｎの近隣領域内の画素数Ｐに関連する重みである。好ましい重みＷは、下記である。

Ｗは、近隣領域が、画像における補正済欠陥に属する画素と欠陥でない画素との境界を中心としている場合に最大となる。

改良画素値を、色補正済画像内に代入して、出力改良デジタル画像１２０を生成する。改良デジタル画像１２０は、赤目となっている画素を補正し、瞳が自然に見える画像を形成することによって改良された画像である。

本発明の方法は、デジタルカメラ、デジタルプリンタ、パーソナルコンピュータ等において実行することができる。

以上、本発明を、いくつかの好適な実施形態について詳細に説明したが、この発明の要旨を逸脱しない範囲で種々変更可能であることは勿論である。

本発明の実施に適したコンピュータシステムを示すブロック図である。 本発明に係る図１に示すデジタル画像処理装置を示すブロック図である。 図２に示すブロック図の一部をより詳細に説明するための図である。 第一の調整期間において除去される画素が斜線で示された成長済欠陥の一例を示す半図解図である。 図４と同様の図であり、第二の調整期間において除去される画素が斜線で示された第一の調整期間終了時の様子を示す図である。

Claims (1)

1. デジタル画像における赤目を補正する方法において、
   前記画像における、一の画素もしくは複数の連続画素群を有する成長前欠陥の対からなる成長前欠陥対を検出し、
   前記成長前欠陥のそれぞれを成長させて、成長済欠陥対とし、
   前記成長前欠陥対と前記成長済欠陥対のいずれかの間隔を測定して、欠陥対間隔を求め、
   前記欠陥対間隔に応じて前記成長済欠陥のサイズを調整して、調整済欠陥とし、
   前記調整済欠陥の色を変更して、赤目を軽減し、
   前記欠陥対間隔に従って空間演算子を決定し、
   改善されたデジタル画像を提供するため、前記空間演算子を用いて、前記調整された欠陥に近接する画像を混合する、方法。

Images