JP2005092759A - 画像処理装置、画像処理方法、および赤目検出方法ならびにプログラム - Google Patents

Abstract

【課題】状態の異なる自然物に対して、適正に赤目検出等の目的物検出を行うことができる画像処理を提供する。
【解決手段】入力画像から対象物を検出する複数の判別手段を有し、２以上の判別手段による対象物の検出を順次行うことにより、入力画像中における最終目的物の領域を検出し、この領域検出結果を用いて、入力画像における最終目的物の位置座標を算出し、かつ、判別手段の少なくとも１つは、先に処理を行った判別手段による検出結果を用いて対象物の検出を行うことにより、前記課題を解決する。
【選択図】図１

Description

本発明は、写真画像からの赤目検出など、画像中における目的物の検出（認識）を行う画像処理装置および画像処理方法、画像中から赤目を検出する赤目検出方法、ならびに、これらを実行させるプログラムに関する。

近年、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像（画像データ）からも、プリントの作成を行うことができる。

また、近年のパーソナルコンピュータ（ＰＣ）やデジタルカメラ、さらにはインクジェットプリンタなどの安価なカラープリンタの普及に伴い、デジタルカメラで撮影した画像をＰＣに取り込み、画像処理を施してプリンタで出力するユーザも多い。
さらに、近年では、デジタルカメラで撮影した画像を記憶したスマートメディア^ＴＭやコンパクト^ＴＭフラッシュなどの記憶媒体から、直接的に画像データを読み取り、所定の画像処理を施して、プリント（ハードコピー）を出力するプリンタも実用化されている。

ところで、ポートレート等の人物を含む画像において、画質を左右する最も重要な要素は人物の仕上りである。従って、撮影時のストロボ発光の影響によって、人物の目（瞳）が赤くなる赤目現象は、重大な問題となる。
従来のフィルムから直接的に露光を行うフォトプリンタでは、赤目の補正は非常に困難であるが、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像処理（画像解析）によって赤目を検出し、この赤目領域の画像データの変換や色／濃度補正によって、赤目の補正を行うことができる。そのため、画像処理によって画像中の赤目を検出する方法が、各種、提案されている。

例えば、特許文献１には、画像中の目領域を含む対象領域の特徴量に基づいて、この対象領域から虹彩領域を含む特徴領域を検出し、虹彩領域と他の特徴領域との配置関係、例えば虹彩領域と他の特徴領域との接触の度合い、対象領域と赤目領域との面積比、虹彩領域と他の領域（例えば瞳孔領域）との包含関係を用いて、赤目領域を特定する方法が開示されている。

また、特許文献２には、画像中の目領域を含む対象領域の特徴量に基づいて、この対象領域から、色相、彩度および明度等を用いて、虹彩領域を含む複数の特徴領域（赤目領域の候補）を検出し、虹彩領域と他の特徴領域との接触関係、特徴領域の特徴量の階調特性、および特徴領域の面積情報に基づいて、赤目領域を特定する方法が開示されている。
特開２００２−２４７５９６号公報 特開２００３−３６４３８号公報

赤目現象は、人物や動物などの自然物に特有の現象である。ここで、人物や動物等の自然物の画像（画像データ）は、各種の条件に応じて大きく変動する。すなわち、自然物の画像処理を行う場合には、各種の条件に応じて、被写体の大きさ、輝度／濃度、歪み量など、処理対象が大きく変動する。
例えば、撮影距離によって画像中の被写体の大きさは大きく変動する。また、天候や地域に応じた光の当たり具合によっては、顔など被写体の色や濃度や輝度が変動する。

上記特許文献に開示される方法も含め、従来の赤目検出方法（アルゴリズム）は、特定の条件下であれば、好適に赤目の検出を行うことができる。
ところが、前述のように、自然物の場合には、処理対象の状態は様々である。そのため、従来の赤目検出方法では、このような様々な状態の処理対象に対応して、適正に赤目の検出を行うことはできない。

本発明の目的は、前記従来技術の問題点を解決することにあり、様々な状態の自然物を対象として、赤目検出などの画像中からの目的物の検出を適正に行うことができる画像処理方法および画像処理装置、画像中からの赤目検出を迅速に行うことができる赤目検出方法、ならびに、これらを実行するためのプログラムを提供することにある。

前記目的を達成するために、本発明の画像処理装置は、入力画像から対象物を検出する複数の判別手段を有し、２以上の前記判別手段による対象物の検出を順次行うことにより、入力画像中における目的物の領域を検出する検出手段と、前記検出手段による目的物の領域検出結果を用いて、入力画像における前記目的物の位置座標を算出する位置決定手段とを有し、かつ、前記判別手段の少なくとも１つは、先に処理を行った判別手段による対象物の検出結果を用いて対象物の検出を行うことを特徴とする画像処理装置を提供する。

また、本発明の画像処理方法は、入力画像から対象物を検出する複数の判別手段を用い、必要に応じて先に処理を行った判別手段による対象物の検出結果を利用して、対象物の検出を各判別手段によって順次行うことにより、前記入力画像中における目的物の領域を検出し、この目的物の領域から前記入力画像における前記目的物の位置座標を算出することを特徴とする画像処理方法を提供する。

さらに、本発明のプログラムの第１の態様は、入力画像から対象物を検出する予め設定された複数の判別手段を用い、必要に応じて先に処理を行った判別手段による対象物の検出結果を利用して前記判別手段による対象物の検出を順次行うことにより、入力画像中における目的物の領域を検出するステップ、および、前記目的物の領域から前記入力画像における前記目的物の位置座標を算出するステップ、を実行させるプログラムを提供する。

このような本発明の画像処理装置、画像処理方法、およびプログラムにおいて、前記検出手段は、前記目的物に類似する物を対象物として検出する判別手段を有するのが好ましく、さらに、前記目的物が赤目であり、前記類似する物を対象物として検出する判別手段が、眼鏡を検出する判別手段、目じりを検出する判別手段、眉毛を検出する判別手段、および、ニキビを検出する判別手段の少なくとも１つであるのが好ましい。

また、本発明の赤目検出方法は、入力画像から赤目候補を検出した後、前記入力画像から顔の検出を行い、前記赤目候補および顔の検出結果を用いて、入力画像から赤目を検出することを特徴とする赤目検出方法を提供する。

さらに、本発明のプログラムの第２の態様は、入力画像から赤目候補を検出するステップ、前記入力画像から顔の検出を行うステップ、および、前記赤目候補および顔の検出結果を用いて、前記入力画像からの赤目の検出を行うステップ、を実行させるプログラムを提供する。

このような本発明の赤目検出方法およびにプログラムおいて、さらに、前記入力画像からの眼鏡検出、目じり検出、眉毛検出、ニキビ検出の少なくとも１つを行い（少なくとも１つを行うステップを有し）、この検出結果も加味して前記入力画像からの赤目の検出を行うのが好ましい。

本発明は、上記構成を有することにより、被写体の大きさ、輝度／濃度、歪み量などの条件が異なる様々な状態の画像に汎用的に対応して、画像中に存在する赤目の検出等、画像中からの目的物の検出を適正に行うことができる。また、本発明の赤目検出方法によれば、画像中からの赤目検出を、より効率よく高速に行うことができる。

以下、本発明の画像処理装置および画像処理装置、赤目検出方法、ならびにプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。

図１に、本発明の画像処理方法を実施する、本発明の画像処理装置の一例をブロック図で示す。
図１の画像処理装置１０は、入力画像（入力画像データ）から赤目を検出して、画像中の赤目の位置座標（位置座標データ）を出力するもので、検出手段１２と、位置決定手段１４とを有して構成される。このような画像処理装置１０は、一例として、パーソナルコンピュータ、ワークステーションなどのコンピュータや、ＤＳＰ（Digital Signal Processor）等を利用して構成される。

図示例の画像処理装置１０（以下、処理装置１０とする）において、入力画像は、例えば、カラーの写真画像（データ）であり、通常の写真フィルムを用いるカメラで撮影されたもの（写真フィルムを光電的に読み取って得られたもの）であっても、デジタルカメラで撮影されたものであってもよい。

入力画像は、検出手段１２に供給される。
検出手段１２は、入力画像を処理して、入力画像中から目的物を検出（抽出）し、入力画像中の目的物領域（後述するマスク画像）を位置決定手段１４に供給する。なお、検出手段１２は、必要に応じて、入力画像を拡大／縮小してなる処理用画像や、入力画像を回転してなる処理用画像を生成し、各処理用画像を後述するように処理して、この処理結果を統合することにより、入力画像から赤目を検出してもよい。

処理装置１０において、検出手段１２は、入力画像から互いに異なる対象物を検出する複数（１〜ｎ）の判別手段を有し、複数の判別手段Ｎによって、順次、対象物の領域を検出し（以下、処理とする）、その処理結果に応じて、入力画像から目的物を検出する。
なお、本発明において、各判別手段Ｎは、例えば、画像の色／濃度検出、エッジ検出、画素の連続性の確認、形状認識やパターン認識等を行い、さらに、検出する対象物に応じた画像群から学習によって得られた辞書データ（参照データ）を用いた判定等によって対象物を検出する、画像中から対象物（検出目的物）を検出する公知の判別手段（公知の物体検出アルゴリズム）を利用すればよい。

図示例において、各判別手段Ｎは、処理結果（出力画像）として、入力画像中における対象物の領域を示すマスク画像（例えば、対象物領域を「１」、それ以外の領域を「０」とするマスク画像）を出力する。さらに、各判別手段Ｎは、必要に応じて、先に処理を行った判別手段Ｎによるマスク画像（以下、マスクとする）を用いて、処理を行う。
一例として、検出手段１２は、まず、判別手段１で入力画像を処理して判別手段１における対象物の領域を示すマスク１を生成する。次いで、判別手段２を用いて入力画像のマスク１の対象物領域を処理して、判別手段２における対象物の領域を示すマスク２を生成する。次いで、判別手段３を用いて入力画像のマスク２の対象物領域を処理して、判別手段３における対象物の領域を示すマスク３を生成し、………、最後に、判別手段ｎを用いて入力画像のマスクｎ−１の対象物領域を処理して、判別手段ｎにおける対象物の領域を示すマスクｎを生成し、このマスクｎを目的物の検出結果とする。

なお、最初に入力画像の処理を行う判別手段１も、必要に応じてマスクを用いて処理を行ってもよい。例えば、入力画像が証明写真で、最終目的物が赤目である場合には、画像の中央部のみを処理するようなマスク画像を用いて、検出を行ってもよい。これにより、処理時間の短縮等をはかることができる。
判別手段１におけるマスク使用の有無、あるいはさらに使用するマスクの選択は、例えば、ＧＵＩ(Graphical User Interface)等を用いたオペレータによる選択／指示で行うようにすればよい。あるいは、画像解析等を利用した自動設定を行ってもよい。

図示例の処理装置１０においては、前述のように、検出手段１２は赤目を検出するものである（すなわち目的物は赤目）。これに対応して、検出手段１２は、一例として、入力画像から顔検出を行って、入力画像における顔領域を「１」、それ以外の領域を「０」としたマスク１を作成する判別手段１、入力画像から目を検出して入力画像における目領域を「１」、それ以外の領域を「０」としたマスク２を作成する判別手段２、および、入力画像から赤目を検出して入力画像における赤目領域を「１」、それ以外の領域を「０」としたマスク３を作成する判別手段３を有する。
検出手段１２においては、まず、判別手段１で入力画像の顔検出を行ってマスク１を作成し、次いで、マスク１を利用して入力画像の顔領域について判別手段２で目の検出を行ってマスク２を作成し、さらに、マスク２を利用して入力画像の目領域について判別手段３で赤目検出を行ってマスク３を作成し、このマスク３を赤目の検出結果として位置決定手段１４に供給する。

以上の例では、対象物領域を「１」、それ以外の領域を「０」としたが、マスク（対象物の検出結果）は、このような２値データ以外にも、中間値を利用してもよい。
例えば、前記顔検出を行う判別手段１におけるマスク１を２ビットで作成して、顔と断定できる領域を「３」、断定はできないが顔と判定できる領域を「２」、断定はできないが顔ではないと判定できる領域を「１」、顔ではないと断定できる領域を「０」とし、下流の判定手段２における目の検出と組み合わせて精度向上等を図ってもよい。

また、本発明において、判別手段による検出結果（検出領域の表現）は、図示例のようなマスク画像（出力画像）に限定はされず、各種の方法が利用可能である。例えば、マスク画像の代わりに、「データ１」のリスト（座標位置リスト）によって、対象物の検出結果を表現してもよい。

本発明においては、このように互いに異なる対象物を検出する複数の判別手段を用い、必用に応じて先に処理を行った判別手段による検出結果を利用して、複数の判別手段で繰り返し対象物の検出を行うことにより、被写体の大きさ、輝度／濃度、歪み量などの条件が異なる様々な状態の画像に汎用的に対応して、画像中に存在する赤目の検出等、画像中からの目的物の検出を適正に行うことができる。

本発明において、好ましくは、検出手段１２は、さらに、赤目などの目的物に類似する物（類似物）を対象物として検出する判別手段を有し、このような類似物を検出する判別手段による検出結果も用いて、最終的な目的物の検出を行うのが好ましい。これにより、目的物の検出精度や信頼性を、より向上することができる。
例えば、図示例の処理装置１０のように、入力画像中の赤目を検出する場合には、赤目として誤検出し易い、眼鏡、目じり、眉毛、ニキビなどを対象物として、それぞれ検出する判別手段の少なくとも１つを有するのが好ましい。この際には、例えば、各類似物の判別手段も、対象物（すなわち赤目の類似物）の領域を示すマスク（以下、便宜的に類似マスクとする）を作成し、前記マスク３で示される赤目領域と、類似マスクとを照合して、両マスクで一致する領域は、赤目では無いとしてマスク３の赤目領域から除去して、赤目領域の検出結果とする。あるいは、マスク３の作成に先立ち、各類似物の判別手段による類似マスクを作成し、類似マスクで示される領域を除去して、判別手段３による検出を行って、赤目領域の検出結果となるマスク３を作成してもよい。

さらに、本発明においては、検出する目的物の画像群（教師画像群）を用意しておき、これを参照することにより、検出手段１２において処理を行う判別手段Ｎの選択や順番の決定等を行って、処理時間や検出性能の最適化を図るようにしてもよい。

一例として、顔検出を行う判別手段、目の検出を行う判別手段、および、瞳の検出を行う判別手段に対して、顔を含み、かつ、正確な顔の位置、両目の位置、および瞳の位置が既知の複数の画像を、教師画像群とする。なお、教師画像の顔、目および瞳の位置は、例えば、人物が目視で確認して、入力すればよい。
この教師画像群に対して、前記各判別手段、例えば、顔検出を行う判別手段によって、顔検出を行い、正解データとの比較を行うことにより、検出が成功か不成功かを自動判断することができる。また、判別手段による判別結果と正解データとの差分（判別手段による判別の誤差）を取ることによって、自動的な精度評価を行うこともできる。さらに、処理時間の計測も可能である。すなわち、この方法を利用することにより、例えば、顔検出に対して判別手段Ａおよび判別手段Ｂなどの複数が存在する場合に、各判別手段の性能比較を自動的に行うことができる。

従って、これを利用することにより、例えば、最も安全である反面、最も処理時間がかかる手順（判別手段Ｎの使用順）を準備しておき、検出手段１２において、ある判別手段のスキップ（非使用）や使用順の入れ換え等を、適宜、行って、教師画像群を用いた検出を行い、検出結果、要求される処理時間および検出性能等から、最適な手順を自動決定して処理を行うようにすることもできる。

また、この方法を利用することにより、顔検出→目検出→瞳検出のように、段階的な検出を行って最終的な目的物の検出を行う場合にも、性能評価を行い、最適な手順や判別手段の選択等を行うことができる。
例えば、顔検出の判別手段としてＡおよびＢ、目検出の判別手段としてＣおよびＤ、瞳検出の判別関数としてＥおよびＦが有る場合、組み合わせを種々変更して、前述のようにして精度評価や処理時間検出を行うことにより、用いる判別手段の組み合わせの最適解を自動判定することができる。さらに、これを利用して、目検出をスキップして顔検出→瞳検出を行うと性能はどのように変わるか、同様に顔検出をスキップすると性能はどのように変わるか等の自動判定も可能となる。

なお、このような教師画像群を用いた自動判定の結果は、教師画像群（母集団）によって変化する可能性があることに、留意する必要がある。

前述のように、検出手段１２による赤目の検出結果、すなわち入力画像中における赤目領域を示すマスク３は、位置決定手段１４に供給される。
位置決定手段１４は、検出手段１２が検出した入力画像の赤目領域を、位置座標に変換して、所定の部位、例えば後段に配置される赤目補正を行う部位に出力する。なお、領域データから位置座標値への変換は、公知の方法で行えばよい。

以下、処理装置１０の作用を説明する。また、本発明のプログラムの第１の態様は、コンピュータ等に、以下の処理を実行させるプログラムである。

処理装置１０において、入力画像（入力画像データ）は前述のように検出手段１２に供給される。
入力画像を供給された検出手段１２は、まず、判別手段１によって入力画像の顔検出を行い、入力画像における顔領域を「１」、それ以外の領域を「０」としたマスク１を作成する。次いで、このマスク１を用いて、判別手段２によって入力画像中の顔領域から目の検出を行い、入力画像における目領域を「１」、それ以外の領域を「０」としたマスク２を作成する。さらに、このマスク２を用いて、判別手段３によって入力画像中の目領域から赤目検出を行い、入力画像における赤目領域を「１」、それ以外の領域を「０」としたマスク３を作成し、マスク３を入力画像からの赤目領域の結果として、位置決定手段１４に供給する。

赤目領域の検出結果すなわちマスク３を受け取った位置決定手段１４は、座標変換を行って赤目の位置座標とし、赤目の位置座標を後段、例えば、前述のように赤目の補正手段に供給する。

以上の例では、入力画像から赤目検出を行うに際し、最初に顔検出を行い、次いで検出した顔領域から目を検出し、最後に、目領域から赤目を検出した。すなわち、以上の例では、処理エリアを段階的に限定して最終的な目的物である赤目を検出した。

これに対し、本発明の赤目検出方法は、逆に、最初に赤目と考えられる赤目候補領域を検出し、次いで、顔検出を行って、例えば、顔領域中における赤目候補を赤目領域として検出する。また、本発明のプログラムは、以下の処理を実行させるプログラムである。
例えば、図１の処理装置１０であれば、判別手段１を赤目を検出する判別手段１、顔を検出する判別手段２を検出手段１２に設定しておく。入力画像が供給されたら、検出手段１２は、まず、判別手段１によって赤目検出を行い、検出した赤目領域を赤目候補領域として、赤目候補領域を「１」、それ以外の領域を「０」としたマスク１を作成する。次いで、マスク１を利用して、判別手段２によって赤目候補領域の周囲における顔検出を行い、顔領域を「１」、それ以外の領域を「０」としたマスク２を作成する。最後に、マスク１とマスク２とを照合して、「１」が重なっている領域を赤目領域として検出する。

このように、最初に赤目候補を検出し、その後、顔領域の検出を行って、赤目検出を行う本発明によれば、「顔検出→目検出→赤目検出」と段階的に処理エリアを限定して行く従来の赤目検出方法に比して、処理時間を短縮して、高速化や生産性の向上を図ることができる。

なお、本発明の赤目検出方法は、必ずしも、前記本発明の画像処理方法および画像処理装置を利用するのに限定はされない。例えば、判別手段２において、赤目候補の検出結果（マスク１）を利用せずに顔検出を行って、最終的な赤目領域の検出を行ってもよい。あるいは、領域ではなくて赤目候補の中心位置座標を検出し、次いで、顔領域検出→赤目検出を行うようにしてもよい。
また、本発明の赤目補正方法においても、前述の眼鏡検出、目じり検出等の類似領域の検出を行い、赤目検出結果の信頼性の向上を図ってもよいのは、もちろんである。この際においては、類似領域の検出は、顔検出前に行ってもよく、あるいは、顔検出後に行ってもよい。
さらに、本発明を利用する際には、通常の最終目的物の検出では、先のように広い領域から、順次、検出領域を狭くしていき、赤目検出を行う際には、最初に赤目候補の検出を行い、その後、顔検出を行って、赤目検出を行うようにするようにしてもよい。

以上、本発明の画像処理方法、画像処理装置、赤目検出方法、およびプログラムについて詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の変更や改良を行ってもよいのは、もちろんである。
例えば、図示例では、顔検出、目の検出および赤目の検出を行ったが、本発明は、これに限定はされず、人物の検出、鼻の検出、口の検出、犬や猫などの動物の検出、花の検出等、各種の物を目的物として、検出を行ってもよい。すなわち、本発明は、各種の認識系の画像処理に、好適に利用可能である。

本発明の画像処理装置の一例の概念図である。

符号の説明

１０ （画像）処理装置
１２ 検出手段
１４ 位置決定手段

Claims (9)

1. 入力画像から対象物を検出する複数の判別手段を有し、２以上の前記判別手段による対象物の検出を順次行うことにより、入力画像中における目的物の領域を検出する検出手段と、前記検出手段による目的物の領域検出結果を用いて、入力画像における前記目的物の位置座標を算出する位置決定手段とを有し、
   かつ、前記判別手段の少なくとも１つは、先に処理を行った判別手段による対象物の検出結果を用いて対象物の検出を行うことを特徴とする画像処理装置。
2. 前記検出手段は、前記目的物に類似する物を対象物として検出する判別手段を有する請求項１に記載の画像処理装置。
3. 前記目的物が赤目であり、前記類似する物を対象物として検出する判別手段が、眼鏡を検出する判別手段、目じりを検出する判別手段、眉毛を検出する判別手段、および、ニキビを検出する判別手段の少なくとも１つである請求項２に記載の画像処理装置。
4. 入力画像から対象物を検出する複数の判別手段を用い、必要に応じて先に処理を行った判別手段による対象物の検出結果を利用して、対象物の検出を各判別手段によって順次行うことにより、前記入力画像中における目的物の領域を検出し、この目的物の領域から前記入力画像における前記目的物の位置座標を算出することを特徴とする画像処理方法。
5. 入力画像から赤目候補を検出した後、前記入力画像から顔の検出を行い、前記赤目候補および顔の検出結果を用いて、入力画像から赤目を検出することを特徴とする赤目検出方法。
6. さらに、前記入力画像からの眼鏡検出、目じり検出、眉毛検出、ニキビ検出の少なくとも１つを行い、この検出結果も加味して前記入力画像からの赤目の検出を行う請求項５に記載の赤目検出方法。
7. 入力画像から対象物を検出する予め設定された複数の判別手段を用い、必要に応じて先に処理を行った判別手段による対象物の検出結果を利用して前記判別手段による対象物の検出を順次行うことにより、入力画像中における目的物の領域を検出するステップ、
   および、前記目的物の領域から前記入力画像における前記目的物の位置座標を算出するステップ、を実行させるプログラム。
8. 入力画像から赤目候補を検出するステップ、前記入力画像から顔の検出を行うステップ、および、前記赤目候補および顔の検出結果を用いて、前記入力画像からの赤目の検出を行うステップ、を実行させるプログラム。
9. さらに、前記入力画像からの眼鏡検出を行うステップ、前記入力画像からの目じり検出
   を行うステップ、前記入力画像からの眉毛検出を行うステップ、および、前記入力画像からのニキビ検出を行うステップの少なくとも１つを実行させ、
   かつ、前記入力画像から赤目検出を行うステップは、実行した全ステップの検出結果を用いて前記赤目の検出を行う請求項８に記載のプログラム。
   

Images