JP2005135392A - 赤目軽減方法 - Google Patents

Abstract

【課題】赤目位置を正確に識別して、赤目処理を効率良く行える赤目軽減方法を提供する。
【解決手段】赤目軽減方法には、多重チャネル画像の色相、彩度、明度色空間への変換が含まれる（ブロック１００）。画像内に赤目が有ればその位置を識別するために、色相チャネル、彩度チャネル及び明度チャネルが処理される（ブロック１２０〜１７０）。
【選択図】図３

Description

本発明は、一般的にはデジタル画像処理の分野に関し、より詳細には画像における赤目効果の識別及び軽減に関する。

多くの用途におけるコンピュータの使用の増加は、マンマシンインタフェースの向上に対する関心を高めてきた。画像におけるユーザの顔の位置を確認し、続いてそれを処理して人を確実に識別することは、多くの用途において要望されている。近年、顔認識用のアルゴリズムは劇的に向上しており、現在は多くの用途に向けて十分に頑強なものとなっている。このシステムの弱点は顔の検知及び位置確認である。識別を超えた顔画像用の他の用途、特にユーザの顔から反応または感情を認識するといった知覚演算への関心もまた高まりを見せている。その結果、コンピュータ作動システムを人間のようにより応答性が良いものにすることができる。これらのアルゴリズムもやはり顔の検知及び位置確認における不充分さにより制限される。

ある程度の大きさを有した人間の顔が含まれる画像を撮像するときにフラッシュ照明を使用した場合、網膜内の毛細血管により光が部分的に吸収されるため、人の瞳孔が赤く見えることがある。図１に示されるように、フラッシュ照明源１２から発せられた光線１０は眼レンズ１６を通過して眼１４に入り、網膜１７上に照明源１２の画像１８を形成する。撮像された画像内における「赤目効果」として知られる目の欠陥は主に人の目で見られる。動物を撮像した場合、目の欠陥は若草色または黄色を示す。一般的に、動物の顔の造り、顔色、髪及び目自体の構造における大きなバラツキの故に、パターン認識アルゴリズムにとっては動物の目を検知することは更に難しい。

図２を参照した場合、網膜１７から反射された光線３０は眼レンズ１６を通過して眼１４を出て、最終的にカメラレンズ３２へ入る。カメラレンズ３２が照明源１２に近接して設置されている場合、赤目効果は最大化する。即ち、観測される赤目または目の欠陥の量は、カメラレンズ３２により定義される光軸３４に照明源１２が接近するにつれて増加する。

カメラ内に内蔵されている赤目軽減用の一般的な技術は二つの要素、即ち（ａ）例えば完全照明により目標画像を撮像する前に小さな一連の前フラッシュを放射することにより被写体の瞳孔径を小さくすること、及び（ｂ）被写体の目に当たる照明が取得レンズから外れる角度に反射されるようにレンズ離隔に対する照明を増加させること、に影響を与えてきた。
大津展之，「システム、人及びサイバーネットに関するＩＥＥＥトランザクション」第９巻, 第１号，１９７９年，ｐ. ６２−６６における「階調ヒストグラムからの閾値選定法」

フラッシュを被写体に照明する必要があるときには殆どの場合、周辺照明が暗いため被写体の瞳孔が開く。フラッシュから発せられた光は続いて瞳孔を通過して目に入り、網膜の裏面における血管から反射される。カメラレンズ、フラッシュ及び被写体の目の幾何学的配置が適切である場合、この反射がカメラにより記録され、見る人にとって不愉快且つ好ましくない撮像画像を提供する。従って、撮像画像内の赤目範囲を識別及び補正する自動的な方法が大いに必要とされている。

画像自体に生じる赤目欠陥を検知及び／または除去するための多数の方法が提案されてきた。これらの方法の大部分は、（ｉ）監視下にある、即ち欠陥が観測される画像内の小区域をユーザが手動で識別する必要があるか、または（ii）対象範囲を探索するための肌／顔及び／または目検知に依存している。しかしながら手動ユーザ識別は、特に多数の画像が関係している場合にユーザにとって面倒である。また、標準的な肌、顔及び目検知技術は膨大な演算を必要とする。

本発明は斯かる事情に鑑みてなされたものであり、赤目位置を正確に識別して、赤目処理を効率良く行える赤目識別／軽減方法を提供することを目的とする。

本発明の方法には、多重チャネル画像の色相、彩度、明度色空間への変換が含まれる。画像内に赤目が有ればその位置を識別するために、色相チャネル、彩度チャネル及び明度チャネルが処理される。

本発明では、画像内における赤目位置を正確に識別して、赤目処理を効率良く行うことができる。

赤目または赤目を含む画像の小区域が画像に含まれることをユーザが識別することなく画像における赤目の存在を識別するために、本発明者は、標準的な赤、緑、青（「ＲＧＢ」）画像を輝度増強チャネル（例えば単一チャネルにおける輝度情報の６０％より大きい）を含んだものに修正することによりこのような識別及び軽減が容易になることに気付いた。図３を参照して、赤目識別及び軽減システムへの入力には一般的に、様々な色空間におけるカラーデジタル画像１００が含まれる。ブロック１１０においてこのカラー画像１００は色相、彩度、明度（例えば色相彩度輝度）色空間へ変換または提供される。輝度情報は、この輝度情報の６０％より多くを一般的に含む色空間の明度（例えば輝度）チャネル内に含まれている。彩度は光源から発せられた可視出力の相対帯域幅の式として定義されてもよい。彩度が上昇するにつれて色はより「純粋に」見える。彩度が低下するにつれて色はより「褪せて」見える。色相は光源から発せられたエネルギ出力が最大（または略最大）であるときの可視光スペクトル内の波長として定義されてもよい。赤目を識別するために更にその他の色空間が要望どおりに使用されてもよい。

色相、彩度、明度（「ＨＳＶ」）色空間へ修正された画像の色チャネルにあっては、赤目欠陥を正確に識別するために、ＨＳＶ色空間の各チャネルは相異なる方法で処理及び分析され、ある方法により組み合わされてもよい。

画像内の赤目欠陥は上述のように、画像を取得する間のフラッシュ使用の直接的な結果として発生する。従って、赤目検知技術はフラッシュにて作用された（即ち照射された）画像領域に注目すべきである。ブロック１２０において、このような見込み赤目領域を識別するために、オリジナル画像の輝度（Ｖ）成分Ｉv に対して閾値演算処理が適用される。閾値Ｔf を越える画素は以下のようなフラッシュマスクＭf を備える。

Ｍf （ｉ，ｊ）＝１ （Ｉv （ｉ，ｊ）≧Ｔf の場合）
Ｍf （ｉ，ｊ）＝０ （その他の場合）

閾値Ｔf は、例えばスカラ値、整数、または特定の画像に基づいた動的な値のような、如何なる適した値であってもよい。Ｔf は例えば、非特許文献１において記載された技術を個々に使用して各入力画像に対して演算される。更にＴf の値は、生じるマスク機能が、入力画像がフラッシュ画像である（例えば十分な赤目効果を有している）か否かを判定するために使用され得るように選択されてもよい。

フラッシュマスクＭf （ｉ，ｊ）を判定すると、ブロック１２０において、分離された画素の数を減少させるために他の後処理動作が適用されてもよい。これらの動作には例えば、中央値フィルタリング、並びにイロージョンとオープニング（収縮と収縮後の膨張）のような形態的動作が含まれてもよい。ブロック１３０において、Ｍf 内の剰余画素は続いて凸包技術またはその他の方法のような連結成分技術を使用して複数の「連続」領域へ分類され、連結成分の範囲が演算される。凸包は最短の多角形範囲であるため、この範囲内における何れの二点間の線分もこの範囲の完全に内側に含まれる。閾値より小さい面積を有した領域は廃棄されるか、または使用されない。各剰余領域の凸包は続いて演算され、最終的なフラッシュマスクＭf を生じるために凸包の結合を備える二値マスクが構築される。

図４（ａ）乃至図５（ｂ）は、Ｍf 構築の様々な段階を明らかにする。図４（ａ）は入力画像Ｉを描いており、画像のＶ成分Ｉv は図４（ｂ）に示されている。閾値演算及び後処理動作の結果は夫々図４（ｃ）及び図５（ａ）に示されている。面積に基づいた閾値演算及び凸包生成の後に得られる最終的なフラッシュマスクＭf は図５（ｂ）に描かれている。Ｍf は、赤目欠陥を含む可能性がある入力画像内の範囲を表しており、従って、処理の残りはＭf により識別される領域に限定されてもよい。

Ｍf は、演算された後、色相成分Ｉh のような画像の別の成分を更に処理するために使用されてもよい。ブロック１４０においてＭf は、マスクされた色相版を得るためにＩh に適用されてもよい。色相は画素の主要な色として定義されてもよく、０度と３６０度との間の単位円上の角度として表される。本発明者は、色相値が表示用の適切な区間（例えば［０，１］または［０，２５５］）にマッピングされた場合、図６（ａ）に示されるように赤目位置はより暗いバックグラウンド上の連続領域として明るく観察されることに気付いた。この特性は、例えば閾値演算により暗い範囲を消去して赤目欠陥用の分析が行われる範囲を減少させるというような、適切な方法に利用されてもよい。

Ｍh （ｉ，ｊ）＝１ （Ｉhm（ｉ，ｊ）≧Ｔh の場合）
Ｍh （ｉ，ｊ）＝０ （その他の場合）

閾値Ｔh は、設定Ｔh ∈［０，１］のような、如何なる適切な方法により選択されることもでき、０．１２５に設定される。

Ｍh が演算された後、それを改良するためにブロック１４５における幾つかの後処理動作が適用されてもよい。これらの動作には例えば、中央値フィルタリング、並びにディレーションとクロージング（膨張と膨張後の収縮）のようなモルフォルジフィルタリングが含まれてもよい。Ｍh 内の選択された画素は続いて連結成分技術を使用して連続領域へ分類され、各領域に対して幾つかの特徴が演算される。特に、領域が赤目範囲である可能性を決定するために各領域の面積、アスペクト比、及び／またはエクステントが検討されてもよい。エクステントは、領域の全面積（即ち領域内の画素数）の、その領域用の最小枠内の画素数に対する比として定義されてもよい。面積及び／またはアスペクト比が所定の範囲を外れている領域、またはエクステント値が特定閾値を下回っている領域は廃棄される。好ましい実施の形態において、一つの領域に対する最大及び最小許容サイズは入力画像のサイズに基づいて動的に演算される。アスペクト比試験により、伸張している領域の消去が可能になる。赤目候補領域のアスペクト比は区間（０．３３，２）内にあると予想される。また、ある領域のエクステントが０．３３より小さい場合、該領域は赤目候補位置のリストから除去される。

図６（ａ）乃至図６（ｄ）はＭh 構築の様々な段階を示す。図６（ａ）は画像の色相成分Ｉh を描いており、マスクされた色相成分は図６（ｂ）に描かれている。閾値演算及び後処理動作の結果は図６（ｃ）に示されている。連結成分ラベリング並びに面積及び形状に基づいたフィルタリングの後に得られる最終的な色相マスクＭh は図６（ｄ）に描かれている。

本発明者はまた、有力な赤目候補領域を更に絞り込むために画像の彩度成分内の情報が使用されてもよいことに気付いた。赤目領域内の画素は図４（ａ）の画像例に見られるように高い彩度値を有することが多いことが観察された。この現象は、その画像例に対する彩度成分Ｉs を示す図７（ａ）にも示されている。更に、彩度成分内の局所変動は赤目領域の周囲で極めて顕著である。この特性を利用するために、各画素に対する彩度成分の標準偏差がブロック１５０（図３）において局所近傍（図７（ｂ））を使用して演算されてもよい。赤目欠陥である可能性が高い画素は続いてブロック１６０において閾値演算処理により識別され、図７（ｃ）に示されるように彩度マスクＭs σを生じる。閾値は異なる方法により選択されてもよい。好ましい実施の形態において、閾値は０．１５に設定される。

ブロック１７０においてＭh 及びＭσの論理積が続いて演算され、赤目欠陥が発生する可能性の最も高い位置を表す最終的なマスクＭh σ（図７（ｄ））を生じる。本技術の上述した部分におけるように、Ｍh σを改良するために幾つかの後処理動作が適用されてもよい。これらの動作には例えば、中央値フィルタリング、並びに拡張及び閉鎖のような形態的フィルタリングが含まれてもよい。Ｍh σ内の選択された画素は続いて連結成分技術を使用して連続領域へ分類され、ラベリングされた各領域に対して幾つかの形状に基づいた特徴が演算される。特に、本技術は各領域の離心率及び真円度を演算してもよい。離心率は、領域と同様の二次モーメントを有する楕円の焦点間距離とその長軸の長さとの比として定義される。離心率の値は０と１との間で変動し、離心率値が高くなるにつれて領域は線分に近づく。真円度は、その名が示すように、領域がどの程度円に類似しているかを示す尺度であり、領域周長の二乗の領域面積に対する比として定義される。これらの特性は、特定の領域が赤目欠陥（図７（ｅ））を含む可能性を判定するために使用される。

本技術の最終段階は、何れの画素の赤が強いかを判定するための、剰余領域に対する色に基づいた分析に関係する。これは色相成分を使用して、赤色に対応する色相角度の適切な範囲を特定することにより達成されてもよい。またこの色試験は、ＲＧＢ、ＹＣｒＣｂ、Ｌ^* ａ^* ｂ^* 等の他の色空間において実行されてもよい。好ましい実施の形態において、システムは各候補領域内における画素のＲＧＢ値を利用してこの領域が赤目欠陥を含むか否かを判定する。ＲＧＢ値は得られるＨＳＶ成分から単一変換を使用して直接的に演算され得る。各領域に対して、システムは各一次の平均値を演算してもよい。システムは続いて（ｉ）平均赤値が特定された閾値より小さいか否か、または（ii）緑及び青成分の平均値の比が別の所定閾値を下回るか否かを判定してもよい。これらの判断基準のうち何れかを満たす如何なる領域も廃棄され、残余領域は赤目欠陥位置（図７（ｆ））として識別される。

これらの領域内における修正を必要とする個々の画素は、個々の画素の色特性を分析することにより識別される。この分析には例えば、画素明度値に基づいた閾値演算、及び色類似度に基づいたクラスタリング／領域拡張が含まれてもよい。本技術の最終的な出力は、赤目修正を必要とする画像内における個々の画素を特定するマスクである。ここに述べられる技術が、画像全体を変換する必要なく数式の結果として、または別々に行われてもよいことは理解されるべきである。

尚、好ましい実施の形態は教師データを必要としない方法により動作全体を行うことができる。また、本技術は画像内における顔及び／または肌領域の検知を必要としないため、演算の効率が高い。更に、赤目の処理を、フラッシュ照明により作用された画像領域に限定することにより、演算の効率が高められる。

ここに述べられる実施の形態は、例えばデジタル画像に対して動作するスタンドアロンのコンピュータアプリケーション、または他の画像／文書管理への差込型としてなど如何なる方法で実施されることもでき、また多機能装置内へ組み込まれてもよい。

カメラ、フラッシュ及び目を示す図である。 赤目効果を生じる軸を有する、図１のカメラ、フラッシュ及び目を示す図である。 画像内の赤目を識別するための典型的なフローチャートである。 Ｍf 構築の様々な段階を明らかにする図である。 Ｍf 構築の様々な段階を明らかにする図である。 Ｍh 構築の様々な段階を示す図である。 赤目の識別における様々な段階を示す図である。

符号の説明

１００ 入力画像
１１０ ＨＳＶ色空間への変換
１２０ 中央値フィルタリング／連結成分ラベリング／閾値演算
１３０ 凸包生成
１４０ マスキング及び閾値演算
１４５ 連結成分ラベリング／面積に基づくフィルタリング
１５０ 局所標準偏差の演算
１６０ 閾値演算
１７０ 候補領域の形状及び色に基づくフィルタリング

Claims (26)

1. 多重チャネル画像の小区域が赤目を含むことを識別する方法において、
   （ａ）前記多重チャネル画像を、前記チャネルの少なくとも一つが前記多重チャネル画像の輝度情報の６０％より多くを有する輝度増強チャネルである修正多重チャネル画像へ変換するステップと、
   （ｂ）前記輝度増強チャネルの少なくとも一部の処理に基づいて、前記画像の小区域が赤目領域を含むことを識別するステップと
   を有することを特徴とする方法。
2. 前記多重チャネル画像は赤、緑及び青チャネルを有していることを特徴とする請求項１に記載の方法。
3. 前記修正多重チャネル画像は色相、彩度及び輝度チャネルを有していることを特徴とする請求項２に記載の方法。
4. 彩度は光源から発せられる可視出力の相対帯域幅であることを特徴とする請求項３に記載の方法。
5. 前記色相は実質的に、光源から発せられるエネルギ出力が最大であるときの可視光スペクトル内の波長であることを特徴とする請求項４に記載の方法。
6. 前記多重チャネル画像の各チャネルは前記画像の小区域を識別するために異なる方法で処理されることを特徴とする請求項１に記載の方法。
7. 赤目を含む多重チャネル画像の小区域を識別する方法において、
   （ａ）前記チャネルの少なくとも一つが前記多重チャネル画像の輝度情報の６０％より多くを有する前記多重チャネル画像を提供するステップと、
   （ｂ）前記輝度情報を含む前記チャネルの少なくとも一部の処理に基づいて、前記画像の小区域が赤目領域を含むことを識別するステップと
   を有することを特徴とする方法。
8. 前記多重チャネル画像は色相、彩度及び輝度チャネルを有していることを特徴とする請求項７に記載の方法。
9. 彩度は光源から発せられる可視出力の相対帯域幅であることを特徴とする請求項８に記載の方法。
10. 前記色相は実質的に、光源から発せられるエネルギ出力が最大であるときの可視光スペクトル内の波長であることを特徴とする請求項９に記載の方法。
11. 前記多重チャネル画像の各チャネルは前記画像の小区域を識別するために異なる方法で処理されることを特徴とする請求項７に記載の方法。
12. 赤目を含む多重チャネル画像の小区域を識別する方法において、
    （ａ）前記多重チャネル画像の各チャネルの少なくとも一部の異なる処理に基づいて、前記画像の小区域が赤目領域を含むことを識別するステップ
    を有することを特徴とする方法。
13. 赤目を含む多重チャネル画像の小区域を識別する方法において、
    （ａ）前記チャネルの少なくとも一つが前記多重チャネル画像の輝度情報の６０％より多くを有する前記多重チャネル画像を提供するステップと、
    （ｂ）前記輝度情報を含む前記チャネルの少なくとも一部の処理に基づいて、前記画像の小区域が赤目領域を含むことを識別するステップと、
    （ｃ）別の多重チャネル画像の少なくとも一部の処理に基づいて、前記画像の小区域が赤目領域を含むことを識別するステップと
    を有することを特徴とする方法。
14. 前記輝度情報に基づいた識別は前記輝度情報の閾値演算を含むことを特徴とする請求項１３に記載の方法。
15. 前記閾値演算の結果は第１マスクであることを特徴とする請求項１４に記載の方法。
16. 前記閾値演算のための値は前記画像に基づいていることを特徴とする請求項１４に記載の方法。
17. 前記画像内において赤目領域として示される分離された画素の数を減少させるステップを更に有することを特徴とする請求項１５に記載の方法。
18. 凸包技術を使用して連続領域を識別するステップを更に有することを特徴とする請求項１７に記載の方法。
19. 不充分なサイズの連続領域は赤目候補領域として除去されることを特徴とする請求項１８に記載の方法。
20. 赤目を含む多重チャネル画像の小区域を識別する方法において、
    （ａ）前記チャネルの少なくとも一つが実質的に前記画像の色相を含んでいる前記多重チャネル画像を提供するステップと、
    （ｂ）前記色相を実質的に含む前記チャネルの少なくとも一部の処理に基づいて、前記画像の小区域が赤目領域を含むことを識別するステップと
    を有することを特徴とする方法。
21. 前記赤目領域は、概ね暗い領域に囲まれた、明るい領域の識別に基づいていることを特徴とする請求項２０に記載の方法。
22. 前記小区域は、（１）その面積、（２）そのアスペクト比、及び（３）そのエクステントのうちの少なくとも一つに基づいて識別されることを特徴とする請求項２０に記載の方法。
23. 赤目を含む多重チャネル画像の小区域を識別する方法において、
    （ａ）前記チャネルの少なくとも一つが実質的に前記画像の彩度を含んでいる前記多重チャネル画像を提供するステップと、
    （ｂ）前記彩度を実質的に含む前記チャネルの少なくとも一部の処理に基づいて、前記画像の小区域が赤目領域を含むことを識別するステップと
    を有することを特徴とする方法。
24. 前記赤目領域は、前記彩度における位置変動の識別に基づいていることを特徴とする請求項２３に記載の方法。
25. 前記位置変動は統計的測定に基づいていることを特徴とする請求項２４に記載の方法。
26. 前記統計的測定は標準偏差であることを特徴とする請求項２５に記載の方法。
    
    
    

Images