JP5022811B2 - 画像処理装置及び画像処理方法並びに撮像装置 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特に撮像装置で撮像された画像内に含まれる赤目領域を補正する画像処理装置及び画像処理方法に関する。
本発明はさらに、撮像画像中の赤目領域を補正する機能を有する撮像装置に関する。

従来、光電変換素子を用いて被写体光学像を撮像し、メモリカードを代表とする記録媒体に、撮像画像をデジタルデータとして記録するデジタルカメラが知られている。
また、人物をフラッシュ撮影（フラッシュを点灯させて撮影）した場合、目が赤く撮影されてしまう赤目現象についても知られている。赤目現象は、網膜の血管が撮像されることにより発生し、特に暗所など瞳孔が大きく開いた状態でフラッシュ撮影した場合に起こりやすい。

このような赤目現象の発生を緩和するため、フラッシュ撮影の直前にランプやフラッシュなどを一度点灯させ（プリ発光）、瞳孔を収縮させてからフラッシュ撮影を行う赤目緩和機能を有する撮像装置が知られている。しかし、プリ発光時に被写体がカメラを注視していない場合は赤目緩和効果が少ないといった問題があった。

赤目現象はデジタルカメラであってもフィルムカメラ（銀塩カメラ）であっても同様に発生するが、デジタルカメラの場合、撮像画像に対して容易に画像処理を適用することができる。そのため、撮像画像中に含まれる人物の顔や目を検出し、赤目現象が発生していると判断される場合には自動または半自動で赤目領域を修正する赤目補正技術が提案されている。特許文献１では、撮像画像中、肌色とみなされる領域を顔領域として検出し、検出された顔領域内で赤目領域を検出することが開示されている。また、特許文献２には、赤目補正機能を有するカメラにおいて、検出顔形状モデルと顔確率を比較するアルゴリズムとパターンマッチングを併用して、撮像画像中の顔領域を検出することが開示されている。

特開平１０−０２３３９２９号公報 特開２００１−３０９２２５号公報

これら従来の技術においては、画素の赤さの度合いを評価値として赤目領域の候補となる領域（赤目候補領域）を検出し、さらに赤目候補領域の大きさや形などから最終的な赤目領域を特定して、赤目領域内の画素を補正している。

このような方法で赤目補正した場合、補正された領域と補正されない領域とが区別できてしまい、不自然な補正結果になる場合がある。また、赤目候補領域を画素の赤さに基づいて検出するので、目頭などの充血した部分、肌の赤い部分、赤い光源下で撮影された人物の肌色部分などを赤目候補領域として誤検出することが多く、誤補正の確率が高いという問題があった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、赤目領域をより効果的に補正することのできる画像処理装置及び画像処理方法を実現することを目的とする。

上述の目的は、画像中から、目と判断される目領域を検出する検出手段と、目領域を複数のブロックに分割する分割手段と、複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算手段と、評価値のばらつき度合を示す指標を、前記ブロックごとに求める指標演算手段と、目領域に含まれる個々の画素に対する補正値を、画素について演算された評価値と、指標とに基づいて演算する補正値演算手段と、補正値を目領域の画素に適用する補正手段とを有し、補正値演算手段が、ばらつき度合の小さいブロック内の画素ほど補正値が小さくなるように評価値を指標に基づいて補正することにより補正値を演算することを特徴とする画像処理装置によって達成される。

また、上述の目的は、本発明の画像処理装置を有し、撮像した画像に対して画像処理装置による補正を行うことを特徴とする撮像装置によっても達成される。

また、上述の目的は、画像中から、目と判断される目領域を検出する検出工程と、目領域を複数のブロックに分割する分割工程と、複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算工程と、評価値のばらつき度合を示す指標を、ブロックごとに求める指標演算工程と、目領域に含まれる個々の画素に対する補正値を、画素について演算された評価値と、指標とに基づいて演算する補正値演算工程と、補正値を目領域の画素に適用する補正工程とを有し、補正値演算工程において、ばらつき度合の小さいブロック内の画素ほど補正値が小さくなるように評価値を指標に基づいて補正することにより補正値を演算することを特徴とする画像処理方法によっても達成される。

このような構成により、本発明の画像処理装置及び画像処理方法によれば、赤目領域を効果的に補正することができる。

以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。
（撮像装置の構成）
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例を示す図である。
１０１はレンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する、ＣＣＤやＣＭＯＳセンサ等の撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

タイミング発生部１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。

画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。

さらに、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。

Ａ／Ｄ変換器１６の出力データが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６の出力データが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像した画像データを画像表示部２８で逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０は撮影した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機能を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。

測距制御部４２はレンズ１０のフォーカシングを制御し、ズーム制御部４４はレンズ１０のズーミングを制御する。バリア制御部４６はレンズ１０の保護を行うためのレンズバリアである保護部１０２の動作を制御する。

フラッシュ４８は撮影時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。
赤目緩和ランプ４９は、フラッシュ４８を用いた撮影前に、約１秒間発光することによって、被写体である人の瞳孔を小さくするための光源である。上述したように、撮影直前に瞳孔を小さくすることによって、フラッシュ発光撮影時の赤目現象を低減することができる。

露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。

システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することにより撮像装置１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。

表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４は撮像装置１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。

表示部５４の表示内容としては、例えば以下のようなものがある。シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示。時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、記録媒体書き込み動作表示、等。この一部は光学ファインダー１０４内に表示される。

さらに、表示部５４の表示内容のうち、ＬＥＤ等により表示するものとしては、例えば以下のようなものがある。合焦表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等。

そして、表示部５４の表示内容のうち、ランプ等により表示するものとしては、例えば、セルフタイマー通知ランプ、等がある。このセルフタイマー通知ランプは、ＡＦ補助光と共用して用いても良い。
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。

モードダイヤル６０、第１シャッタースイッチ（ＳＷ１）６２、第２シャッタースイッチ（ＳＷ２）６４、電源スイッチ６６、無線接続ボタン６８及び操作部７０は、システム制御部５０に所定の動作の開始、停止等を指示するための操作部材である。これらの操作部材は、ボタン、スイッチ、ダイアル、タッチパネル、視線検知装置、音声認識装置或いはこれらの組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。

第１シャッタースイッチ（ＳＷ１）６２は、デジタルカメラ１００に設けられたシャッターボタン（図示せず）の第１ストローク（例えば半押し）でＯＮとなる。第１シャッタースイッチ（ＳＷ１）６２がＯＮにされた場合、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ処理等が開始される。

第２シャッタースイッチ（ＳＷ２）６４は、デジタルカメラ１００に設けられたシャッターボタンの第２ストローク（例えば全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮伸張部３２で圧縮を行い、記録媒体２００や２１０に画像データを書き込む記録処理が行われる。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８の表示ＯＮ／ＯＦＦ設定用スイッチである。光学ファインダー１０４を用いて撮影を行う際に、例えばＴＦＴ ＬＣＤ等から成る画像表示部２８の表示をＯＦＦして電流供給を遮断することにより、省電力を図ることが可能となる。

フラッシュ設定ボタン６８は、フラッシュの動作モードを設定・変更するボタンである。本実施形態において設定可能なモードは、オート、常時発光、赤目緩和オート、常時発光（赤目緩和）がある。オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するモードである。常時発光は、常にフラッシュを発光して撮影するモードである。赤目緩和オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するとともに、フラッシュ発光の際には、常に赤目緩和ランプを発光するモードである。常時発光（赤目緩和）は、常に赤目緩和ランプとストロボを発光して撮影するモードである。

操作部７０は各種ボタンやタッチパネル等からなり、例えば以下のようなボタン、スイッチを含む。メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン。再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、圧縮モードスイッチ等。

圧縮モードスイッチは、ＪＰＥＧ(Joint Photographic Expert Group)圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである。

本実施形態において、ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。撮像装置１００の利用者は、撮影した画像のデータサイズを重視する場合はノーマルモードを、撮影した画像の画質を重視する場合はファインモードを、それぞれ選択して撮影を行うことができる。

ＪＰＥＧ圧縮のモードにおいては、圧縮伸長部３２が、メモリ３０に書き込まれた画像データを読み出し、設定された圧縮率に圧縮した後、例えば記録媒体２００に記録する。

ＲＡＷモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出し、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、記録媒体２００に記録する。

電源制御部８０は、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ部等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によって撮像装置１００に取り付けられる。

メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、撮像装置１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６と撮像装置１００側のコネクタ９２、９６とを介して撮像装置１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２００、２１０の装着有無は、記録媒体着脱検知部９８によって検知される。

なお、本実施形態では撮像装置１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。

コネクタ９２及び９６に各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
バリア１０２は、撮像装置１００の、レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。

光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いてレンズ１０を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、上述したように、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などの情報表示がなされる。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、ＩＥＥＥ８０２．１１ｘ等の無線通信、等、各種規格に準拠した通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介して撮像装置１００を他の機器と接続する。

図２は、図１の構成を有する撮像装置１００の外観例を示す斜視図であり、図１に示した構成については同じ参照数字を付した。
電源ボタン２０１は撮像装置１００の電源をオン・オフするためのボタンである。MENUボタン２０５は、撮影パラメタやカメラの設定を変更するためのメニュー画面を表示したり表示を中止するためのボタンである。SETボタン２０３は、設定値の決定や、メニュー項目の決定などに使用する。削除ボタン２０７は、撮像した画像の削除を指定する際に用いる。ＤＩＳＰボタン２０８は、画像表示部２８に表示する情報の組み合わせを切り替えるボタンである。十字ボタン２０９は上下左右ボタンから構成され、メニュー画面の遷移や選択項目の移動などを行ったり、再生モードにおける表示画像の切り替えなどを行ったりするのに使用する。これらのボタンは、操作部７０に含まれる。

（撮像・記録処理）
図３は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
本実施形態では、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなくても実行可能であることは言うまでもない。

シャッターボタンが全押しされ、ＳＷ２がＯＮになると、撮影処理が行われる（Ｓ３０２）。撮像素子１４がアナログ電気信号に変換した被写体像はＡ／Ｄ変換器１６によりデジタル信号に変換される。そして、Ａ／Ｄ変換器１６が出力するデジタル信号に対し、画像処理部２０において撮影画像処理を実施する（Ｓ３０３）。

詳細は省略するが、この撮影画像処理には、撮像素子１４から読み出された信号を、例えばカラーフィルタの配列などに基づいて、輝度成分Ｙ、色差成分ＵＶで表される画素単位の画像データへ変換する処理が含まれる。

次に、画像処理部２０は、画像データを用いて、撮像画像内において顔と判断される領域（顔領域）を検出する顔検出処理を行う（Ｓ３０４）。
顔検出処理はどのような手法によって行っても良いが、例えば特開２００１−３０９２２５号公報に記載されるような、顔形状モデルを用いたパターンマッチングを用いて行うことができる。また、パターンマッチング時におけるモデルと画像領域との一致度（類似度）に基づいて、顔らしさを示す尺度である顔信頼度を求めることが可能である。

本実施形態において、画像処理部２０は、１〜１０の１０段階の顔信頼度を求めるものとする。ここで、信頼度１はパターンマッチング時の一致度が高く、顔である可能性が高いものを示し、信頼度１０はパターンマッチング時の一致度が低く、顔である可能性が低いものを示すものとする。

また、画像処理部２０は、検出した顔領域の大きさ（顔サイズ）も求める。本実施形態において、画像処理部２０は、顔領域の水平方向及び垂直方向の最大画素数の大きい方を顔サイズとして求めるものとする。

画像処理部２０は、検出した顔領域について、あらかじめ設定されている閾値ＦＲ（本実施形態では３とする）以下の信頼度を有し、かつ、顔サイズが閾値ＦＳ（本実施形態では２００とする）以上の顔領域を、最終的に検出された顔領域とする。

顔検出処理により顔領域が検出されると、画像処理部２０は赤目補正処理を行う（Ｓ３０５）。具体的には、顔検出処理によって検出された顔領域の中から目と判断される領域（目領域）を検出し、目領域を対象として、赤目補正処理を適用する。このとき、目領域は実際に目が存在する領域を完全に含むように設定されることが望ましい。従って、顔検出および目領域の検出アルゴリズムの精度に依存はするが、検出精度が低いと判断される場合には、目が存在すると想定される領域を中心として比較的大きめの領域が目領域として設定される。なお、本実施形態では顔の幅をＦとした場合に、片方の目に対する目領域の幅をＦ×０．４となるように設定している。

画像処理部２０は、赤目補正処理を実施した画像データを、メモリ制御部２２を通じてメモリ３０に出力する。メモリ制御部２２は、画像処理部２０からの画像データを画像表示部２８の解像度に合わせて画像表示メモリ２４に書き込む。これにより、補正後の画像が画像表示部２８上に表示される（クイックレビュー動作）。一方、メモリ３０に書き込まれた画像データは、圧縮伸長部３２によって例えばＪＰＥＧ形式に符号化する。そして、符号化された画像データはシステム制御部５０の制御に従って記録媒体２００又は２１０に、例えばＤＣＦ規格に従って記録される（Ｓ３０７）。

なお、Ｓ３０４において顔領域が検出されなかった場合、Ｓ３０５における赤目補正処理をスキップして、Ｓ３０６においては補正されていない画像の表示及び記録を行う。

（赤目補正処理）
次に、図３のＳ３０５において画像処理部２０が行う赤目補正処理の詳細について説明する。
図４は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図４における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。

上述の通り、画像処理部２０は、図３のＳ３０４で検出された顔領域から目領域を検出する。そして、目領域に含まれる画素データ（Ｙｕｖ形式）４０１を評価値演算処理部４０２へ供給する。ここで、目領域は横幅画素数Ｗ、縦幅画素数Ｈの矩形状であるものとする。

評価値演算処理部４０２は、画素データ４０１の各画素について、以下の式を用いてＲＧＢ形式に変換するとともに、評価値Ｅを求める。
Ｒ＝Ｙ＋１．４０２＊Ｖ 式（１）
Ｇ＝Ｙ−０．３４４＊Ｕ−０．７１４＊Ｖ 式（２）
Ｂ＝Ｙ＋１．７７２＊Ｕ 式（３）
Ｅ＝（２＊Ｒ−Ｇ−Ｂ）／２ 式（４）

式（４）から明らかなように、赤さが強い画素ほど、評価値Ｅは大きくなる。評価値演算処理部４０２は、求めた評価値Ｅを、ブロック分割分散演算処理部４０３及び補正係数演算処理部４０６へ出力する。

分割手段及び指標演算手段としてのブロック分割分散演算処理部４０３は、目領域を複数の領域（ブロック）に分割し、個々のブロックに含まれる画素の評価値Ｅの分散Ｄを演算する。本実施形態では、図５に示すように、目領域５００を横方向５分割、縦方向５分割の計２５のブロックに分割し、ブロックごとの評価値Ｅの分散Ｄを演算するものとする。分散Ｄは以下の式（５）及び式（６）を用いて演算する。

式中、Ｅ（Ｉ）は、個々の評価値であり、Ｎはブロックに含まれる画素数である。
ブロック分割分散演算処理部４０３は、求めたブロック毎の分散Ｄを拡大リサイズ処理部４０４へ出力する。

拡大リサイズ処理部４０４は、ブロックごとに求められた２５個（５×５）の分散Ｄを、横幅Ｗ、縦幅ＨのＷ×Ｈ個のデータに、例えば線形補間することによって拡大リサイズする。Ｗ×Ｈ個のデータにリサイズされた分散データは最大値座標検出処理部４０５及び補正係数演算処理部４０６へ出力される。

位置検出手段としての最大値座標検出処理部４０５は、拡大リサイズされた分散データのうち、最大値を有するデータの画素位置（ＭａｘＸ，ＭａｘＹ）を検出する。そして、検出した画素位置を補正係数演算処理部４０６に出力する。

図６は、赤目現象が発生している目領域と、分散の分布例を示す図である。
図６において、６０１は、Ｙ＝ＭａｘＹにおけるＸ軸方向の分散の分布であり、横軸はＸ座標、縦軸は分散の大きさを示している。また、６０２は、Ｘ＝ＭａｘＸにおけるＹ軸方向の分散の分布であり、横軸はＹ座標、縦軸は分散の大きさを示している。

補正値演算手段としての補正係数演算処理部４０６は、最大値座標検出処理部４０５が検出した画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に応じた重み係数を決定する。具体的には、図７に示すように、画素位置（ＭａｘＸ，ＭａｘＹ）に近いほど大きい重み係数を決定する。

図６における６０３は、Ｙ＝ＭａｘＹにおけるＸ軸方向の重み係数の分布であり、横軸はＸ座標、縦軸は重み係数の大きさを示している。また、６０４は、Ｘ＝ＭａｘＸにおけるＹ軸方向の重み係数の分布であり、横軸はＹ座標、縦軸は重み係数の大きさを示している。図６に示す例では、画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に比例して線形に減少するような重み係数を決定している。

そして、補正係数演算処理部４０６は、評価値演算処理部４０２からの評価値Ｅ（ｘ，ｙ）、分散を拡大リサイズ処理したデータＤ（ｘ，ｙ）、重み係数Ｗ（ｘ，ｙ）とすると、補正係数Ｈ（ｘ，ｙ）を、以下の式（７）によって演算する。
Ｈ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）×Ｄ（ｘ，ｙ）×Ｗ（ｘ，ｙ） 式（７）
ここで、（ｘ，ｙ）は目領域内の座標であり、本例では１≦ｘ≦Ｗ，１≦ｙ≦Ｈである。
このように、補正係数Ｈは、評価値Ｅが大きいほど、分散Ｄが大きいほど、重み係数が大きいほど大きくなる。

補正係数演算処理部４０６において求めた補正係数Ｈは、補正処理部４０７へ出力される。補正処理部４０７は、目領域の画素データ４０１に対し、補正係数Ｈを適用することにより、赤目補正処理を実行する。具体的には、Ｙｕｖ形式の画素データ４０１の輝度成分をＹ（ｘ，ｙ）、色成分をＵ（ｘ，ｙ）及びＶ（ｘ，ｙ）とし、補正後の画素データの色成分をＵ’（ｘ，ｙ）及びＶ’（ｘ，ｙ）とすると、以下の式（８）、式（９）により補正を行う。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ）） 式（８）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ）） 式（９）

補正処理部４０７は、補正した画素データ４０８を、撮像画像データにおける、対応する目領域のデータに上書きする。
以上の処理を、他の全ての目領域に対して実行したら、赤目補正処理を終了する。

なお、本実施形態において、各目領域を５×５のブロックに分割したが、分割数は５×５に限られるものではなく、９×９のようにより細分化してもよく、また９×７のように横方向、縦方向の分割数を異なる値に設定することも可能である。また、目領域の検出アルゴリズムの精度に応じて分割数を変更するようにしてもよい。例えば、瞳孔の位置を高い精度で検出できる検出方法を用いる場合であれば、目が存在するとみなされる領域に対して比較的小さめに目領域を設定し、分割数を減らすことによって、処理時間の短縮を図ることができる。あるいは、目領域の検出アルゴリズムは同一であっても、得られた目領域の検出結果の信頼度が高いほど、目領域の大きさを小さめに設定するようにしてもよい。

また、本実施形態では、補正処理部４０７において、画素データの色成分を補正値が大きいほど大きく低減させることにより、赤目領域の赤さを低減させている。しかし、例えば補正後の目標色成分Ｕｔ及びＶｔを設定し、次のような式で補正するようにすることも可能である。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ））＋Ｕｔ×Ｈ（ｘ，ｙ）
式（１０）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ））＋Ｖｔ×Ｈ（ｘ，ｙ）
式（１１）

また、本実施形態においては、評価値Ｅのばらつき度合いの指標の一例として評価値Ｅの分散を用いた。しかし、標準偏差を始めとして、ブロック内に含まれる画素に対する評価値Ｅばらつき度合いの指標として利用可能な任意の値を代わりに用いることができる。

また、本実施形態においては、画像処理装置の一例として撮像装置を説明したが、本発明はプリンタや情報処理装置を始めとして、赤目補正処理を利用可能な任意の装置に適用可能である。

さらに、本実施形態においては、ばらつき度合が最大となる画素位置からの距離に応じた重み付けを行うものとして説明したが、重み付けは必須ではない。評価値Ｅの大きさをその画素が含まれるブロックに対して求めた評価値Ｅのばらつきの度合に応じて補正して、ばらつきの度合が小さいブロック内の画素に対する補正量を小さくなるようにするだけでも本発明の効果は得られる。また、本実施形態においては、顔の幅をＦとした場合に目領域の幅をＦ×０．４に設定しているが、これに限られるものではない。赤目の赤い領域（すなわち、瞳孔領域）が分散を求める際の１つのブロックの内部に含まれるように設定されるのであれば、どのような設定でも構わない。つまり、ブロックの分割数により目領域の大きさ設定を変更するように構成しても構わない。

以上説明したように、本実施形態によれば、目領域を複数のブロックに分割し、ブロックごとに、ブロックに含まれる画素の赤さの程度を表す評価値のばらつきの度合を求める。そして、評価値をばらつきの度合で修正することで、ばらつきの度合の小さなブロックに含まれる画素に対する補正値を小さくする。すなわち、評価値のばらつき度合の小さい画素ほど補正値が小さくなるように補正値を修正する。

例えば、図５において、目頭の充血した部分の目頭領域５０１の画素は、赤味が強いので、評価値Ｅが大きくなるが、その部分が含まれるブロック５０２に関する評価値Ｅのばらつきの度合は小さい。そのため、目頭領域５０１に対する評価値は、ばらつきの度合が小さいことにより低減され、結果、補正係数が小さくなる。さらに、肌領域５０３のような、ほぼ同じ色の画素からなる比較的大きな領域についても、ブロック内の評価値のばらつき度合が小さくなるので、補正係数が小さくなる。

すなわち、評価値Ｅの大きさを、その画素が含まれるブロックに対して求めた評価値Ｅのばらつきの度合に応じて修正して補正係数と演算する。これにより、目頭領域や肌領域など、ばらつきの度合が小さい領域の赤色画素に対する補正量（補正係数）が大きくなることを抑制することができる。

さらに、ばらつきの度合が最大となる座標（画素位置）からの距離が大きくなるほど小さくなる重み付け（重み係数）によっても評価値を修正することで、目頭領域５０１や肌領域５０３対する補正係数はさらに小さくなる。また、重み付けを徐々に変化させることで、補正を行った領域と行わない領域との境界部分が目立たなくなり、不自然さを緩和することができる。

逆に、赤目領域とその周囲に存在する虹彩領域を含んだブロックにおいては、評価値のばらつきの度合が大きくなるため、十分な量の補正を行う補正係数が得られ、効果的な補正が実現できる。さらに、ばらつきの度合が最大となる座標を赤目領域の中心と見なして、そこからの距離が大きくなるほど補正係数が小さくなるように重み付けすれば、赤目領域については補正係数が大きく、周辺の虹彩領域においては補正係数が小さくなる。そのため、誤補正を一層効果的に抑制できる。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示す図である。 図１の構成を有する撮像装置１００の外観例を示す斜視図である。 本発明の実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。 本発明の実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。 本発明の実施形態に係る撮像装置における、目領域の分割例を示す図である。 赤目現象が発生している目領域と、本発明の実施形態に係る撮像装置が求めた分散の分布例を示す図である。 本発明の実施形態に係る撮像装置が決定する重み係数の大きさの分布例を示す図である。

Claims (8)

1. 画像中から、目と判断される目領域を検出する検出手段と、
   前記目領域を複数のブロックに分割する分割手段と、
   前記複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算手段と、
   前記評価値のばらつき度合を示す指標を、前記ブロックごとに求める指標演算手段と、
   前記目領域に含まれる個々の画素に対する補正値を、前記画素について演算された前記評価値と、前記指標とに基づいて演算する補正値演算手段と、
   前記補正値を前記目領域の画素に適用する補正手段とを有し、
   前記補正値演算手段が、前記ばらつき度合の小さいブロック内の画素ほど前記補正値が小さくなるように前記評価値を前記指標に基づいて補正することにより前記補正値を演算することを特徴とする画像処理装置。
2. 前記ブロックごとに求めた指標から、前記目領域の画素位置ごとの前記指標を演算するリサイズ手段をさらに有し、
   前記補正値演算手段が、補正値を、対応する画素位置について前記リサイズ手段が求めた前記指標を用いて修正することを特徴とする請求項１記載の画像処理装置。
3. 前記リサイズ手段が求めた前記画素位置ごとの前記指標から、前記ばらつき度合が前記目領域で最大となる画素位置を検出する位置検出手段と、
   前記補正値演算手段が、さらに、前記ばらつき度合が前記目領域で最大となる画素位置からの距離が大きい画素ほど前記補正値が小さくなるように修正することを特徴とする請求項２記載の画像処理装置。
4. 前記指標が、前記評価値の分散もしくは標準偏差であることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 請求項１乃至請求項４のいずれか１項に記載の画像処理装置を有し、撮像した画像に対して前記画像処理装置による補正を行うことを特徴とする撮像装置。
6. 画像中から、目と判断される目領域を検出する検出工程と、
   前記目領域を複数のブロックに分割する分割工程と、
   前記複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算工程と、
   前記評価値のばらつき度合を示す指標を、前記ブロックごとに求める指標演算工程と、
   前記目領域に含まれる個々の画素に対する補正値を、前記画素について演算された前記評価値と、前記指標とに基づいて演算する補正値演算工程と、
   前記補正値を前記目領域の画素に適用する補正工程とを有し、
   前記補正値演算工程において、前記ばらつき度合の小さいブロック内の画素ほど前記補正値が小さくなるように前記評価値を前記指標に基づいて補正することにより前記補正値を演算することを特徴とする画像処理方法。
7. 請求項６記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
8. 請求項７記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images