JP4554548B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、赤目と金目とを分離して赤目修正処理を施す画像処理装置、画像処理方法、および画像処理プログラムに関する。

撮像時にストロボを用いる場合には、人物の瞳孔が赤色に写る赤目現象または金色に写る金目現象が起こる場合がある。赤目現象または金目現象が発生すると、撮像された被写体の写り栄えがよいとはいえないので、これら赤目または金目を、自然な瞳孔の色に修正する様々な画像処理方法が提案されている。例えば、ユーザに色調不良となった目の画像を含む処理対象領域を指定させ、指定された処理対象領域の色相、彩度、および明度から得られる色の値に基づいて、目の瞳部分に赤目修正処理を施す方法が提案されている（例えば、特許文献１参照。）。また、撮像した画像にストロボ情報、Ｅｖ値、シャッター速度、および絞り値等の撮影情報を付加しておき、赤目が発生している可能性があると判断された画像についてだけ赤目修正処理を施す方法が提案されている（例えば、特許文献４参照。）。

なお、画像から人物の顔が含まれる候補領域を抽出した後に、抽出した候補領域を複数の小領域に分割して、複数の小領域の特徴量を予め設定した顔領域パターンと照合することにより顔領域を抽出する方法（例えば、特許文献２参照。）、画像から人物の顔領域を抽出して、抽出した顔領域の色の濃度が所定の閾値に対応する場合に、人物の胴体の候補となる領域を抽出して、顔、または胴体の領域の濃度および彩度を用いて顔領域の確度（抽出した領域が顔画像であることの確からしさ）を評価することにより、顔領域を抽出する方法（例えば、特許文献３参照。）、および画像から複数の顔候補領域を抽出して、抽出した複数の顔候補領域の重複度から確度を評価して顔領域を抽出する方法が提案されている（例えば、特許文献５参照。）。
特開２０００−７６４２７号公報 特開２０００−１３７７８８号公報 特開２０００−１４８９８０号公報 特開２００４−１４５２８７号公報 特開２０００−１４９０１８号公報

しかしながら、特許文献１に記載の発明、および特許文献４に記載の発明においては、画像に含まれる目が赤目であるか金目であるかの区別をせずに、赤目および金目の双方に対して同一の赤目修正処理を施す。したがって、特許文献１に記載の発明、および特許文献４に記載の発明においては、赤目修正処理を施した画像を観賞したユーザに違和感を覚えさせる場合がある。

そこで本発明は、上記課題を解決することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、画像に含まれる赤目候補を検出する赤目候補検出部と、赤目候補検出部が検出した赤目候補が、予め定められた色範囲でそれぞれ規定される赤目および金目のいずれであるかを判断する赤目金目分離部と、赤目金目分離部が金目であると判断した赤目候補の色を、赤目金目分離部が赤目であると判断する色に変換する金目変換部と、金目変換部によって色が変換された赤目候補に赤目修正処理を施す赤目修正部とを備える。

また、赤目修正部は、赤目金目分離部が赤目であると判断した赤目候補と、赤目金目分離部が金目であると判断して金目変換部によって色が変換された赤目候補とに同一の赤目修正処理を施してもよい。また、赤目金目分離部が金目であると判断する金目の輝度に対応づけて色の変換量を格納する理想赤目変換値格納部と、赤目金目分離部が金目であると判断した金目の輝度を取得する輝度取得部とを更に備え、金目変換部は、輝度取得部が取得した輝度に対応づけて理想赤目変換値格納部が格納している色の変換量を用いて、赤目金目分離部が金目であると判断した赤目候補の色を、赤目金目分離部が赤目であると判断する色に変換してもよい。

更に、赤目候補検出部は、赤色を検出する予め定められた検出閾値を用いて、予め定められた色範囲に含まれる赤色を有する赤目候補を画像から検出し、赤目金目分離部は、検出閾値よりＧ成分およびＢ成分のレベルの少なくとも一方に対するＲ成分のレベルが高い赤目分離閾値を用いて、赤目候補検出部が検出した赤目候補が赤目および金目のいずれであるかを判断してもよい。そして、赤目金目分離部は、赤目候補検出部が検出した赤目候補が含む画素のＲ成分、Ｇ成分、およびＢ成分のレベルの平均値の和に対するＧ成分のレベルの平均値の割合を示す第１特徴量、赤目候補検出部が検出した赤目候補が含む画像のＲ成分のレベルの平均値を示す第２特徴量、または、赤目候補検出部が検出した赤目候補が含む画素のＲ成分のレベルの分散を示す第３特徴量のうちの少なくとも１つの特徴量に基づいて、赤目候補検出部が検出した赤目候補が赤目および金目のいずれであるかを判断してもよい。

また、赤目金目分離部は、第１特徴量が予め定められた第１分離閾値よりも大きく、かつ、第２特徴量が予め定められた第２分離閾値よりも大きい場合に、赤目候補検出部が検出した赤目候補が金目であると判断してもよい。更に赤目金目分離部は、第１特徴量が予め定められた第１分離閾値よりも小さく、かつ、第３特徴量が予め定められた第３分離閾値よりも小さい場合に、赤目候補検出部が検出した赤目候補が金目であると判断してもよい。そして、赤目金目分離部は、第１特徴量が予め定められた第１分離閾値よりも大きく、第２特徴量が予め定められた第２分離閾値よりも小さく、かつ、第３特徴量が予め定められた第３分離閾値よりも小さい場合に、赤目候補検出部が検出した赤目候補が金目であると判断してもよい。

また、本発明の第２の形態においては、画像処理方法であって、画像に含まれる赤目候補を検出する赤目候補検出段階と、赤目候補検出段階において検出された赤目候補が、予め定められた色範囲でそれぞれ規定される赤目および金目のいずれであるかを判断する赤目金目分離段階と、赤目金目分離段階において金目であると判断された赤目候補の色を、赤目金目分離段階において赤目であると判断される色に変換する金目変換段階と、金目変換段階において色が変換された赤目候補に赤目修正処理を施す赤目修正段階とを備える。

また、本発明の第３の形態においては、画像に画像処理を施す画像処理装置用の画像処理プログラムであって、画像処理装置を、画像に含まれる赤目候補を検出する赤目候補検出部、赤目候補検出部が検出した赤目候補が、予め定められた色範囲でそれぞれ規定される赤目および金目のいずれであるかを判断する赤目金目分離部、赤目金目分離部が金目であると判断した赤目候補の色を、赤目金目分離部が赤目であると判断する色に変換する金目変換部、金目変換部によって色が変換された赤目候補に赤目修正処理を施す赤目修正部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、赤目と金目とを確実に分離して、分離した金目を赤目に変換するので、同一の赤目修正処理を用いて、赤目と赤目に変換した金目とに赤目修正を施すことができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、画像入力部１００、赤目候補検出部１１０、赤目金目分離部１２０、赤目修正部１３０、金目変換部１４０、輝度取得部１５０、理想赤目変換値格納部１６０、および出力部１７０を備える。本実施形態に係る画像処理装置１０は、赤目と金目とを確実に分離して、分離した金目を赤目に変換することにより、同一の赤目修正処理を用いて、赤目と赤目に変換した金目とに赤目修正を施すことを目的とする。

画像入力部１００は、画像を外部から入力する。画像入力部１００は、写真、および紙媒体等に印刷された画像を読み取ることにより画像を画像データとして外部から入力する。また、画像入力部１００は、半導体メモリ等の記憶媒体、または、ＬＡＮ、およびインターネット等のネットワークを介して画像データを入力してよい。画像入力部１００は入力した画像データを、赤目候補検出部１１０および赤目修正部１３０に供給する。

赤目候補検出部１１０は、画像入力部１００から受け取った画像に含まれる赤目候補を検出する。具体的には、赤目候補検出部１１０は、赤色を検出する予め定められた検出閾値を用いて、予め定められた色範囲に含まれる赤色を有する赤目候補を、画像入力部１００から受け取った画像から検出する。なお、係る場合において、赤色の色範囲は、画像に含まれる赤目を適切に検出することができる範囲に設定してよい。また、赤目候補検出部１１０は、機械学習により赤色の色範囲を設定してもよい。更に、赤目候補検出部１１０は、予め定められた色範囲の色を有する、所定形状および大きさの赤目のテンプレート画像を用いてマッチングすることにより赤目候補を画像から探索してもよい。

ここで、赤目候補検出部１１０は、赤目を探索するときには、少なくとも１つの種類のパラメータに基づいて赤目を探索してよい。例えば、赤目候補検出部１１０は、赤目の探索条件として、赤目検出をするときに用いる複数の異なる大きさの赤目のテンプレート画像、複数の異なる形状を有する赤目のテンプレート画像、複数の異なる種類の色相を有する赤目のテンプレート画像を用いて赤目候補を検出してよい。また、赤目候補検出部１１０は、赤目のテンプレート画像を画像上で予め定められたピッチ幅で移動させてよい。赤目候補検出部１１０は、赤目のテンプレート画像を画像上で移動させるときの複数の異なるピッチ幅、および赤目のテンプレート画像を画像上で移動させるときの複数の異なる移動開始一等に関する情報を予め有していてもよい。例えば、赤目候補検出部１１０は、複数のパラメータを順次変化させて、画像内から赤目候補を検出してもよい。

具体的には、赤目候補検出部１１０は、第１のパラメータを用いて、画像内の赤目を探索して赤目候補の検出を試みる。赤目候補検出部１１０は、第１のパラメータを用いて赤目候補を検出できなかった場合には、第１のパラメータを第２のパラメータに変更して赤目候補の検出を試みる。例えば、赤目候補検出部１１０は、画像内において赤目のテンプレート画像を第１の画素ピッチで探索位置を移動させながら赤目を探索して、赤目候補を検出する。赤目候補検出部１１０は、第１の画素ピッチで赤目候補を検出できなかった場合には、第１の画素ピッチとは異なる第２の画素ピッチで赤目のテンプレート画像を移動させながら赤目候補を検出する。赤目候補検出部１１０は、赤目候補が検出されるまで、画素ピッチを順次変更して赤目のテンプレート画像を移動させてもよい。なお、赤目候補検出部１１０は、第１の画素ピッチで探索した探索位置と、第２の画素ピッチで探索する探索位置とが重複することがない画素ピッチを用いてよい。

また、赤目候補検出部１１０は、検出した複数の赤目候補の位置が、顔に含まれるか否かを判断してもよい。具体的には、赤目候補検出部１１０は、検出した赤目候補の周囲に顔が存在するか否かを検出する。例えば、顔に含まれる、眉、鼻、口、耳、ひげ、および顔の輪郭等の各部位の位置と、赤目候補との位置関係に基づいて、赤目候補が顔の中で目に相当する位置に存在しているか否かを判断する。また、赤目候補検出部１１０は、検出した赤目候補の周囲に存在する被写体の画像を回転させて、当該被写体の画像が対称的な形を有している場合に当該被写体の画像が顔の画像であると判断してもよい。更に、赤目候補検出部１１０は、画像から顔領域を抽出して、赤目候補が抽出した顔領域の中で目に相当する位置に存在しているか否かを判断してもよい。そして、赤目候補検出部１１０は、顔の中の目の位置に存在すると判断された赤目候補を、赤目修正対象である赤目候補として選択してよい。赤目候補検出部１１０は、検出した赤目候補の画像に対する位置を示す情報、および検出した赤目候補の色を示す情報を、画像に対応づけて赤目金目分離部１２０に供給する。

赤目金目分離部１２０は、赤目候補検出部１１０が検出した赤目候補が、予め定められた色範囲でそれぞれ規定される赤目または金目のいずれであるかを判断する。具体的には、赤目金目分離部１２０は、赤目候補検出部１１０が用いた検出閾値よりＧ成分およびＢ成分のレベルの少なくとも一方に対するＲ成分のレベルが高い赤目分離閾値を用いて、赤目候補検出部１１０が検出した赤目候補が赤目または金目のいずれであるかを判断する。また、赤目金目分離部１２０は、赤目候補検出部１１０が検出した赤目候補が含む画素のＲ成分、Ｇ成分、およびＢ成分のレベルの平均値の和に対するＧ成分のレベルの平均値の割合を示す第１特徴量、赤目候補検出部１１０が検出した赤目候補が含む画像のＲ成分のレベルの平均値を示す第２特徴量、または、赤目候補検出部１１０が検出した赤目候補が含む画素のＲ成分のレベルの分散を示す第３特徴量のうちの少なくとも１つの特徴量に基づいて、赤目候補検出部１１０が検出した赤目候補が赤目または金目のいずれであるかを判断する。

より具体的には、赤目金目分離部１２０は、第１特徴量が予め定められた第１分離閾値よりも大きく、かつ、第２特徴量が予め定められた第２分離閾値よりも大きい場合に、赤目候補検出部１１０が検出した赤目候補が金目であると判断してよい。また、赤目金目分離部１２０は、第１特徴量が予め定められた第１分離閾値よりも小さく、かつ、第３特徴量が予め定められた第３分離閾値よりも小さい場合に、赤目候補検出部１１０が検出した赤目候補が金目であると判断してよい。更に、赤目金目分離部１２０は、第１特徴量が予め定められた第１分離閾値よりも大きく、第２特徴量が予め定められた第２分離閾値よりも小さく、かつ、第３特徴量が予め定められた第３分離閾値よりも小さい場合に、赤目候補検出部１１０が検出した赤目候補が金目であると判断してよい。

また、赤目金目分離部１２０は、第１特徴量が予め定められた第１分離閾値よりも小さく、かつ、第３特徴量が予め定められた第３分離閾値よりも大きい場合に、赤目候補検出部１１０が検出した赤目候補が赤目であると判断してもよい。そして、赤目金目分離部１２０は、第１特徴量が予め定められた第１分離閾値よりも大きく、かつ、第２特徴量が予め定められた第２分離閾値よりも小さく、かつ、第３特徴量が予め定められた第３分離閾値よりも大きい場合に、赤目候補検出部１１０が検出した赤目候補が赤目であると判断してもよい。赤目金目分離部１２０は、金目と判断した赤目候補の画像における位置を画像に対応づけて、金目変換部１４０および輝度取得部１５０に供給する。また、赤目金目分離部１２０は、赤目と判断した赤目候補の画像における位置を示す情報を赤目修正部１３０に供給する。更に、赤目金目分離部１２０は、赤目、または金目と判断した赤目の領域、または金目の領域の画素の輝度、および色に関する情報を金目変換部１４０および赤目修正部１３０に供給する。

理想赤目変換値格納部１６０は、赤目金目分離部１２０が金目であると判断する金目の輝度に対応づけて、金色から赤目の色への変換量を格納している。理想赤目変換値格納部１６０は、赤目金目分離部１２０が金目であると判断した金目の領域に含まれる画素の平均輝度に対応づけて、色の変換量を格納してもよい。理想赤目変換値格納部１６０が格納する色の変換量は、Ｒ成分、Ｇ成分、およびＢ成分のレベルのそれぞれの変換量であってよい。理想赤目変換値格納部１６０は、金目変換部１４０の制御に基づいて、金目変換部１４０に色の変換量を示す情報を供給する。

輝度取得部１５０は、赤目金目分離部１２０が金目であると判断した金目の輝度を取得する。輝度取得部１５０は取得した輝度に関する情報を、金目変換部１４０に供給する。金目変換部１４０は、赤目金目分離部１２０が金目であると判断した赤目候補の色を、赤目金目分離部１２０が赤目であると判断する色に変換する。例えば、金目変換部１４０は、上述した第１特徴量、第２特徴量、および第３特徴量、並びに第１分離閾値、第２分離閾値、および第３分離閾値に基づいて、赤目金目分離部１２０が金目であると判断した赤目候補の色を、赤目金目分離部１２０が赤目であると判断する赤色に変換する。また、金目変換部１４０は、輝度取得部１５０が取得した輝度に対応づけて理想赤目変換値格納部１６０が格納している色の変換量を抽出する。金目変換部１４０は、輝度取得部１５０から受け取った輝度を示す情報を解析して、最も出現頻度が多い輝度に対応づけて理想赤目変換値格納部１６０が格納している色の変換量を抽出してもよい。そして、金目変換部１４０は、抽出した色の変換量を用いて、赤目金目分離部１２０が金目であると判断した赤目候補の色を、赤目金目分離部１２０が赤目であると判断する色に変換する。金目変換部１４０は、金目の色を赤目の色に変換した後の赤目候補の位置、および色に関する情報を赤目修正部１３０に供給する。

赤目修正部１３０は、画像入力部１００から受け取った画像に含まれる赤目候補に赤目修正処理を施す。具体的には、赤目修正部１３０は、金目変換部１４０によって色が変換された赤目候補に赤目修正処理を施す。更に、赤目修正部１３０は、赤目金目分離部１２０が赤目であると判断した赤目候補と、赤目金目分離部１２０が金目であると判断して金目変換部１４０によって色が変換された赤目候補とに同一の赤目修正処理を施す。赤目修正部１３０は、赤目修正処理を施した画像データを出力部１７０に供給する。出力部１７０は、画像データを出力する。なお、画像データを表示するモニタ等の画像表示装置、ＤＶＤ等の記録媒体に画像データを書込む書込み装置、および他の画像処理装置等に画像データを送信する通信部等は、出力部１７０の一例である。また、出力部１７０がモニタ等である場合には、出力部１７０は、受け取った画像データを視認可能な画像に変換して表示してよい。

本実施形態に係る画像処理装置１０によれば、画像に含まれる赤目候補を予め定められた検出閾値に基づいて検出して、予め定められた所定の特徴量および所定の分離閾値に基づいて検出した赤目候補に含まれる金目と、予め定められた色を有する赤目とを自動的に分離できる。これにより、まず画像に含まれる赤色を広く検出する検出閾値を用いて赤目候補を確実に検出してから、赤目と金目とを自動的に分離できる。

そして、本実施形態に係る画像処理装置１０によれば、赤目候補に金目が混入していた場合でも、金目と赤目とを分離して金目を赤目に変換した後に、赤目と赤目に変換した金目とに対して同一の赤目修正処理を施すことができるので、これまでの手法においては適切な赤目修正処理を施すことが困難であった金目について、適切な赤目修正処理を施すことができる。したがって、赤目修正処理を施した画像を観賞したユーザに、違和感を覚えさせることを防止できる。

図２は、本実施形態に係る画像処理装置１０における処理の流れの一例を示す。まず、画像入力部１００は原画像を画像処理装置１０に入力する（Ｓ１０００）。なお、原画像は、画像処理装置１０に入力される画像の一例である。画像入力部１００は入力した原画像を、赤目候補検出部１１０に供給する。赤目候補検出部１１０は、画像入力部１００から受け取った原画像に含まれる赤目候補を、赤色を検出する予め定められた検出閾値を用いて、赤目検出処理により検出する（Ｓ１０１０）。そして、赤目候補検出部１１０は、検出した赤目候補の画像における位置に関する情報を含む検出情報を画像に対応づけて、当該検出情報を赤目金目分離部１２０に供給する（Ｓ１０２０）。

赤目金目分離部１２０は、赤目候補検出部１１０が検出した赤目候補を、赤目と金目とに分離する（Ｓ１０３０）。赤目金目分離部１２０は、分離した金目の位置を示す情報を画像に対応づけて、金目変換部１４０に供給する。また、赤目金目分離部１２０は、分離した赤目の画像における位置、および分離した赤目の色に関する情報を赤目修正部１３０に供給する。金目変換部１４０は、赤目金目分離部１２０において分離された金目を、赤目金目分離部１２０が赤目であると判断する色に変換する（Ｓ１０４０）。金目変換部１４０は、赤目に変換した金目の色に関する修正情報を画像に対応づけて、当該修正情報を赤目修正部１３０に供給する（Ｓ１０５０）。赤目修正部１３０は、赤目金目分離部１２０、および金目変換部１４０から受け取った情報に基づいて、画像に含まれる赤目修正を施すべき赤目候補に、赤目修正を施す（Ｓ１０６０）。

図３は、本実施形態に係る赤目分離閾値５００の一例を示す。赤目候補検出部１１０は、画像に含まれる赤目候補を、予め定められた検出閾値を用いて検出する。係る場合において、検出閾値は、画像に含まれる赤目修正を施すべき赤目候補を確実に検出することができる値に設定してよい。例えば、検出閾値としてはＲ成分のレベルを用いてよい。これは、Ｒ成分のレベルをＧ成分およびＢ成分のレベルよりも優先的に赤目候補の検出に用いることにより、赤目候補を確実に検出するためである。ここで、赤目候補検出部１１０が、検出閾値を用いて画像から検出した赤目候補の集団を、赤目集団３００とする。赤目候補検出部１１０は、Ｒ成分のレベルで規定される検出閾値を用いて赤目候補を検出するので、赤目集団３００には、Ｒ成分の他にＧ成分およびＢ成分をも含む、金色を有する金目集団４００も含まれ得る。そして、赤目金目分離部１２０は、検出閾値よりＧ成分およびＢ成分のレベルの少なくとも一方に対するＲ成分のレベルが高い赤目分離閾値５００を用いて、赤目候補検出部１１０が検出した赤目候補の赤目集団３００に含まれる金目集団４００を分離する。

図４は、本実施形態に係る赤目金目分離部１２０における処理の流れの一例を示す。まず、赤目候補検出部１１０が検出した赤目候補に関する情報、即ち、検出された赤目候補の画像に対する位置、および検出された赤目候補の色等に関する情報である赤目検出情報を、赤目金目分離部１２０は赤目候補検出部１１０から受け取る（Ｓ１１００）。そして、赤目金目分離部１２０は、赤目候補検出部１１０が検出した赤目候補が含む画素のＲ成分、Ｇ成分、およびＢ成分のレベルの平均値の和に対するＧ成分のレベルの平均値の割合を示す第１特徴量、赤目候補検出部１１０が検出した赤目候補が含む画像のＲ成分のレベルの平均値を示す第２特徴量、または、赤目候補検出部１１０が検出した赤目候補が含む画素のＲ成分のレベルの分散を示す第３特徴量のうちの少なくとも１つの特徴量に基づいて、赤目候補検出部１１０が検出した赤目候補が赤目または金目のいずれであるかを判断する。

即ち、赤目金目分離部１２０は、はじめに、第１特徴量と予め定められた第１分離閾値との大小を比較する（Ｓ１１１０）。第１特徴量が第１分離閾値よりも大きい場合には（Ｓ１１１０：Ｙｅｓ）、赤目金目分離部１２０は、第２特徴量と予め定められた第２分離閾値との大小を比較する（Ｓ１１２０）。第２特徴量が第２分離閾値よりも大きい場合には（Ｓ１１２０：Ｙｅｓ）、赤目金目分離部１２０は、赤目候補検出部１１０が検出した赤目候補が金目であると判断する（Ｓ１１４０）。

一方、第１特徴量が第１分離閾値よりも小さい場合（Ｓ１１１０：Ｎｏ）、および第２特徴量が第２分離閾値よりも小さい場合には（Ｓ１１２０：Ｎｏ）、赤目金目分離部１２０は、第３特徴量と予め定められた第３分離閾値との大小を比較する（Ｓ１１３０）。第３特徴量が第３分離閾値よりも小さい場合には（Ｓ１１３０：Ｎｏ）、赤目金目分離部１２０は、赤目候補検出部１１０が検出した赤目候補が金目であると判断する（Ｓ１１４０）。第３特徴量が第３分離閾値よりも大きい場合には（Ｓ１１３０：Ｙｅｓ）、赤目金目分離部１２０は、赤目候補検出部１１０が検出した赤目候補が赤目であると判断する（Ｓ１１５０）。

図５は、本実施形態に係る金目変換部１４０における処理の流れの一例を示す。まず、輝度取得部１５０は、赤目金目分離部１２０において分離された金目の輝度成分を取得する（Ｓ１２００）。なお、輝度成分は輝度の一例である。輝度取得部１５０は、取得した輝度成分を、金目変換部１４０に供給する。金目変換部１４０は、輝度取得部１５０から取得した輝度成分に対応づけて理想赤目変換値格納部１６０が格納している色の変換量を取得する（Ｓ１２１０）。そして、金目変換部１４０は、理想赤目変換値格納部１６０から受け取った色の変換量を用いて、赤目金目分離部１２０が金目と判断した金目の色を赤目の色に修正する（Ｓ１２２０）。金目変換部１４０は、赤目の色に修正後の金目の色を示す情報を赤目修正部１３０に供給する。赤目修正部１３０は、金目変換部１４０から受け取った赤目の色への修正後の金目の色を示す情報に基づいて、赤目の色に修正された金目の赤目修正条件を算出する（Ｓ１２３０）。例えば、赤目修正部１３０は、赤目の色に修正された金目を、赤目現象が起こっていない瞳の色に変換することを目的として、赤目の色から瞳の色への色の変換量を算出する。そして、赤目修正部１３０は、算出した赤目修正条件に基づいて、赤目候補を含む画像に赤目修正処理を施す。

図６は、本実施形態に係る理想赤目変換値格納部１６０のデータ構成の一例を示す。理想赤目変換値格納部１６０は、赤目金目分離部１２０が金目であると判断する金目の輝度に対応づけて色の変換量を格納している。例えば、理想赤目変換値格納部１６０は、輝度６００に対応づけて、輝度６００を有する金目の色を赤目金目分離部１２０が赤目であると判断する色に変換するために要する、Ｒ成分、Ｇ成分、およびＢ成分のレベルの変化量を格納している。同様にして、理想赤目変換値格納部１６０は、輝度６１０に対応づけて、輝度６１０を有する金目の色を赤目金目分離部１２０が赤目であると判断する色に変換するために要する、Ｒ成分、Ｇ成分、およびＢ成分のレベルの変化量を格納している。金目変換部１４０は、理想赤目変換値格納部１６０が格納している色の変換量に基づいて、金目の色を予め定められた色の赤目に変換してよい。そして、金目変換部１４０において赤目の色に変換された金目は、赤目修正部１３０において赤目修正処理を施されて、赤目現象、および金目現象が起こっていない状態の瞳の色に修正される。

本実施形態に係る理想赤目変換値格納部１６０は、金目の輝度に対応づけて金目の色を予め定められた赤目の色に変換する色の変換量を格納しており、金目変換部１４０は理想赤目変換値格納部１６０が格納している色の変換量に基づいて、金目の色を赤目の色に変換できる。そして、赤目の色に変換された金目については、赤目修正部１３０において赤目修正処理を施すことができる。したがって、金目部分の領域を一律に赤目の色に変換させる場合と異なり、金目部分の領域のグラデーションを保ったまま金目の色を赤目の色に変換できるので、金目変換部１４０が赤目の色に変換した金目に対して、赤目修正部１３０が赤目修正処理を施すことで、自然な状態を示す瞳の色に修正することができる。

図７は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。本実施形態に係る画像処理装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理装置１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１０が起動時に実行するブート・プログラム、画像処理装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像処理プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理装置１０にインストールされて実行される画像処理プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理装置１０を、図１から図６にかけて説明した画像入力部１００、赤目候補検出部１１０、赤目金目分離部１２０、赤目修正部１３０、金目変換部１４０、輝度取得部１５０、理想赤目変換値格納部１６０、および出力部１７０として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

画像処理装置１０の機能構成を示すブロック図である。 画像処理装置１０の処理の流れを示すフロー図である。 赤目分離閾値５００の例を示す図である。 赤目金目分離部１２０の処理の流れを示すフロー図である。 金目変換部１４０の処理の流れを示すフロー図である。 理想赤目変換値格納部１６０のデータ構成を示す図である。 画像処理装置１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 画像処理装置
１００ 画像入力部
１１０ 赤目候補検出部
１２０ 赤目金目分離部
１３０ 赤目修正部
１４０ 金目変換部
１５０ 輝度取得部
１６０ 理想赤目変換値格納部
１７０ 出力部
３００ 赤目集団
４００ 金目集団
５００ 赤目分離閾値
６００、６１０ 輝度
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (11)

1. 画像に含まれる赤目候補を検出する赤目候補検出部と、
   前記赤目候補検出部が検出した赤目候補が、予め定められた色範囲でそれぞれ規定される赤目および金目のいずれであるかを判断する赤目金目分離部と、
   前記赤目金目分離部が金目であると判断した赤目候補の色を、前記赤目金目分離部が赤目であると判断する色に変換する金目変換部と、
   前記金目変換部によって色が変換された赤目候補に赤目修正処理を施す赤目修正部と
   を備える画像処理装置。
2. 前記赤目修正部は、前記赤目金目分離部が赤目であると判断した赤目候補と、前記赤目金目分離部が金目であると判断して前記金目変換部によって色が変換された赤目候補とに同一の赤目修正処理を施す
   請求項１に記載の画像処理装置。
3. 前記赤目金目分離部が金目であると判断する金目の輝度に対応づけて色の変換量を格納する理想赤目変換値格納部と、
   前記赤目金目分離部が金目であると判断した金目の輝度を取得する輝度取得部と
   を更に備え、
   前記金目変換部は、前記輝度取得部が取得した輝度に対応づけて前記理想赤目変換値格納部が格納している色の変換量を用いて、前記赤目金目分離部が金目であると判断した赤目候補の色を、前記赤目金目分離部が赤目であると判断する色に変換する
   請求項１に記載の画像処理装置。
4. 前記赤目候補検出部は、赤色を検出する予め定められた検出閾値を用いて、予め定められた色範囲に含まれる赤色を有する赤目候補を画像から検出し、
   前記赤目金目分離部は、前記検出閾値よりＧ成分およびＢ成分のレベルの少なくとも一方に対するＲ成分のレベルが高い赤目分離閾値を用いて、前記赤目候補検出部が検出した赤目候補が赤目および金目のいずれであるかを判断する
   請求項１に記載の画像処理装置。
5. 前記赤目金目分離部は、
   前記赤目候補検出部が検出した赤目候補が含む画素のＲ成分、Ｇ成分、およびＢ成分のレベルの平均値の和に対するＧ成分のレベルの平均値の割合を示す第１特徴量、前記赤目候補検出部が検出した赤目候補が含む画像のＲ成分のレベルの平均値を示す第２特徴量、または、前記赤目候補検出部が検出した赤目候補が含む画素のＲ成分のレベルの分散を示す第３特徴量のうちの少なくとも１つの特徴量に基づいて、前記赤目候補検出部が検出した赤目候補が赤目および金目のいずれであるかを判断する
   請求項１に記載の画像処理装置。
6. 前記赤目金目分離部は、前記第１特徴量が予め定められた第１分離閾値よりも大きく、かつ、前記第２特徴量が予め定められた第２分離閾値よりも大きい場合に、前記赤目候補検出部が検出した赤目候補が金目であると判断する
   請求項５に記載の画像処理装置。
7. 前記赤目金目分離部は、前記第１特徴量が予め定められた第１分離閾値よりも小さく、かつ、前記第３特徴量が予め定められた第３分離閾値よりも小さい場合に、前記赤目候補検出部が検出した赤目候補が金目であると判断する
   請求項５に記載の画像処理装置。
8. 前記赤目金目分離部は、前記第１特徴量が予め定められた第１分離閾値よりも大きく、前記第２特徴量が予め定められた第２分離閾値よりも小さく、かつ、前記第３特徴量が予め定められた第３分離閾値よりも小さい場合に、前記赤目候補検出部が検出した赤目候補が金目であると判断する
   請求項５に記載の画像処理装置。
9. 画像に含まれる赤目候補を検出する赤目候補検出段階と、
   前記赤目候補検出段階において検出された赤目候補が、予め定められた色範囲でそれぞれ規定される赤目および金目のいずれであるかを判断する赤目金目分離段階と、
   前記赤目金目分離段階において金目であると判断された赤目候補の色を、前記赤目金目分離段階において赤目であると判断される色に変換する金目変換段階と、
   前記金目変換段階において色が変換された赤目候補に赤目修正処理を施す赤目修正段階と
   を備える画像処理方法。
10. 前記赤目金目分離段階において金目であると判断された金目の輝度を取得する輝度取得段階
    を更に備え、
    前記金目変換段階では、金目の輝度に対応づけて色の変換量を格納する理想赤目変換値格納部を参照して、前記輝度取得段階で取得された輝度に対応づけて前記理想赤目変換値格納部が格納している色の変換量を用いて、前記赤目金目分離段階で金目であると判断された赤目候補の色を、前記赤目金目分離段階で赤目であると判断される色に変換する
    請求項９に記載の画像処理方法。
11. 請求項９または請求項１０に記載の画像処理方法が備える各段階をコンピュータに実行させるための画像処理プログラム。

Images