JP4781299B2 - 画像処理装置及び画像処理方法並びに撮像装置 - Google Patents
画像処理装置及び画像処理方法並びに撮像装置 Download PDFInfo
- Publication number
- JP4781299B2 JP4781299B2 JP2007050200A JP2007050200A JP4781299B2 JP 4781299 B2 JP4781299 B2 JP 4781299B2 JP 2007050200 A JP2007050200 A JP 2007050200A JP 2007050200 A JP2007050200 A JP 2007050200A JP 4781299 B2 JP4781299 B2 JP 4781299B2
- Authority
- JP
- Japan
- Prior art keywords
- red
- eye
- area
- region
- turned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stroboscope Apparatuses (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、本発明の実施形態に係る画像処理装置の一例としてのデジタルスチルカメラ(DSC)100の構成例を示す図である。
また、メモリ30はシステム制御部50の作業領域としても使用することが可能である。
露光制御部40は絞り機能を備えるシャッター12を制御するとともに、フラッシュ48と連携することによりフラッシュ調光機能も有する。
赤目緩和ランプ49は、フラッシュ48を用いる撮影(フラッシュ撮影)前に、約1秒間発光することによって、被写体である人の瞳孔を小さくするための光源である。上述したように、撮影直前に瞳孔を小さくすることによって、フラッシュ発光撮影時の赤目現象を低減することができる。
不揮発性メモリ56は電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。
モードスイッチ60は、例えば、撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り替え設定するためのスイッチである。
インターフェース及びコネクタとしては、例えばPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いることができる。
光学ファインダー104は例えばTTLファインダーであり、プリズムやミラーを用いてレンズ10を通じた光束を結像する。光学ファインダー104を用いることで、画像表示部28による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、上述したように、光学ファインダー104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などの情報表示がなされる。
コネクタ(無線通信の場合はアンテナ)112は、通信部110を介してDSC100を他の機器と接続する。
図3は、本実施形態に係るDSC100における、赤目補正処理を適用するフラッシュ撮影動作を説明するフローチャートである。
画像の撮影が開始されると、撮像素子14に結像された被写体光学像が画素単位のアナログ電気信号として読み出される。A/D変換器16はこのアナログ電気信号をデジタル化し、画像処理部20へ、又はメモリ制御部22へ出力する。
ここでの顔検出は公知の顔検出技術を利用して実現できる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。
ここで、S307における赤目検出処理について、さらに説明する。
本実施形態における赤目検出処理は、赤目候補領域検出処理、引き続く赤目領域判別処理とからなる。
まず、赤目候補領域検出処理について、図5のフローチャートを用いて説明する。
S502において、システム制御部50は、S306における顔検出処理により、最終的に設定された顔領域に含まれる、目と思われる領域(推測目領域)中の各画素について、色相と彩度とを調べる。
Tsat1={(彩度の最大値)−(彩度の最小値)}×ParamSat+(彩度の最小値)
Tsat2=0.15
Tsat=max(Tsat1,Tsat2)
撮影時に赤目緩和ランプを点灯した際には
ParamSat=0.4
撮影時に赤目緩和ランプを点灯させなかった際には
ParamSat=0.7
をそれぞれ設定する。
Tsat1On < Tsat1Off
となるようにParamSatの値を設定する。
条件1:−30°<色相<13°
条件2:Tsat<彩度
である。
次に、赤目候補領域処理によって赤目候補領域に対し、赤目領域判別処理を行なう。
図6のフローチャートを用いて、赤目領域判別処理について説明する。
S602からS605の処理では、画素配列を個々の領域にクラスタリングして領域の形状・大きさの判断を行なう。
(1)2領域間の色相の差、
(2)2領域間の彩度の差、
(3)2領域間の明度の差、
(4)2領域間の面積比、
(5)2領域間の距離(顔領域の大きさより算出した基準値を基に比較する)、
(6)2領域間の面積の平均値、及び
(7)2領域間の類似度、
等の1つ以上に基づいて、左右の赤目ペアとして妥当か否かを検出する。
赤目領域の直径が6画素以下となるような低倍率での撮影時には誤差が大きくなるため、撮影倍率を考慮して
(大きい方の面積)/(小さい方の面積)<6
また、赤目領域の直径が12画素以下では
(大きい方の面積)/(小さい方の面積)<3
その他の場合には
(大きい方の面積)/(小さい方の面積)<1.5
であれば、適切な組み合わせと判定する。
(領域間の距離/大きさ):最大値(80mm/4mm)=20
最小値(50mm/14mm)=3.5
の範囲内であれば適切な赤目ペアであると判定することができる。
赤目ペア候補が検出された場合には、システム制御部50は処理をS612に進め、検出領域に対して例えば上述したように確度の高い候補から順に高い優先順位を付け、赤目検出処理を終了する。
次に、上述したS603で赤目候補領域に対して行う特性の演算処理の詳細について説明する。
この処理では、以下に示す各評価値を、S602でクラスタリングされた各赤目候補領域に対して順次演算する。
クラスタリングされた赤目候補領域の面積(画素数)である。
面積閾値Tareaは赤目緩和ランプの点灯時と非点灯時では異なる値とする。
本実施形態において、システム制御部50は、撮像画像の撮影時に、赤目緩和ランプが点灯されたか、非点灯であったかを判別する。そして、この判別結果に応じて、赤目緩和ランプ点灯時の面積閾値TareaOnと非点灯時の面積閾値TareaOffを、
TareaOn =20
TareaOff =50
と設定する。
そして、赤目候補領域の面積が、閾値との予め定めた大小関係を満たすか否か、より具体的には閾値以上かどうかを評価する。
撮影倍率が高い場合には、赤目領域内にキャッチライトによる明領域が含まれていることがある。したがって、白領域を含む赤目候領域は赤目領域である可能性が高いと評価することができる。
{(白領域の大きさ)/(赤領域の大きさ)} ≦ (閾値WR)
が、例えば閾値WR≒0.5を満たせば、赤目候補領域の中央に白領域が存在すると判定する。
赤目領域は基本的には丸いはずだが以下の要因により、丸とは異なった形状を有するようになってくる。
・キャッチライトが赤目の円周部に発生
・画素の間引きで絵が荒くなり、円というより矩形に近づく
・肌の一部として結合してしまう。特に撮影倍率が低い場合など、色がなだらかにつながってしまう。
評価値C=(領域の周囲長)^2/(領域の面積)
を採用する。
本実施形態では、評価値Cが50以下であれば円らしさの条件を満たすものと判定する。
大きさの評価などでは赤目候補領域の実際の大きさを、領域の画素長と画像サイズや撮影倍率から算出し、この大きさが赤目として妥当なものかどうかを評価する。
以上の他に、領域の周囲長、領域に外接する矩形、領域内の最大長、色相平均値、彩度平均値、輝度平均値をそれぞれ検出し、赤目候補領域として妥当な範囲内か否かを評価する。
次に、S308において、最終的に検出された赤目領域(赤目ペア)に対して適用する赤目補正処理の詳細を説明する。
赤目領域を補正する際には、赤目領域中の画素毎の補正レベルとして、彩度と明度の低減レベルを決定する。基本的には、図8に示すように、赤目領域800は元の値を100%とした時に、彩度をTS[%]、明度をTL[%](TS<100,TL<100)に低減する。そして、赤目領域の周辺画素ではぼかし効果を持たせて、自然な補正とするために、図のような傾斜を持たせて低減を行う。
なお、本実施形態においては、赤目緩和ランプの点灯時と非点灯時で、異なる低減レベルデータを設定する。
また、撮影時に赤目緩和ランプを点灯した場合と点灯しない場合により、赤目補正処理における画素の補正レベルを異ならせることにより、より適切な補正結果を得ることが可能となる。
なお、これまでは撮影時に赤目補正を行う場合について説明してきた。しかし、画像ファイルの付加情報として記録されている撮影条件に関する情報に含まれる、赤目緩和ランプの点灯、非点灯を示す情報を参照して赤目領域の検出を行うことにより、既に記録された画像についても同様の赤目補正を実施することが可能である。
例えばモードスイッチ60により再生モードに設定され、記録媒体200又は210に記録された画像を読み出して画像表示部28に再生している状態で、操作部70から再生時赤目補正の実行が指示されたとする。
本実施形態においては赤目緩和ランプの点灯、非点灯によって、赤目領域を検出するための条件パラメータのうち、彩度閾値と面積閾値を異ならせる例を説明した。しかし、本発明において赤目緩和ランプの点灯、非点灯によって変更可能な赤目領域検出用のパラメータはこれらに限定されない。実施形態に記載した他のパラメータを赤目緩和ランプの点灯、非点灯に応じて異ならせるようにしても良い。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
Claims (10)
- 撮像画像から赤目領域を検出する画像処理装置であって、
撮像画像を取得する取得手段と、
前記撮像画像の撮影前に、赤目現象を低減するための光源が点灯されたか、非点灯であったかを判別する判別手段と、
前記撮像画像中の顔領域を検出する顔検出手段と、
前記顔領域中から予め定めた条件を満たす領域を赤目領域として検出する赤目領域検出手段とを有し、
前記赤目領域検出手段が、前記光源が点灯されたと前記判別手段により判別された場合には、非点灯であったと判別された場合よりも前記予め定めた条件を緩くして前記検出を行うことを特徴とする画像処理装置。 - 前記予め定めた条件が、前記顔領域中の画素の彩度が彩度閾値よりも大きいことを含み、前記赤目領域検出手段は、前記光源が点灯されたと前記判別手段により判別された場合に、前記光源が非点灯であったと判別された場合よりも前記彩度閾値の値を小さくして前記検出を行うことを特徴とする請求項1記載の画像処理装置。
- 前記予め定めた条件が、前記顔領域中の赤目候補画素が形成する領域の面積が面積閾値以上であることを含み、前記赤目領域検出手段は、前記光源が点灯されたと判別された場合に、非点灯であったと判別された場合よりも前記面積閾値の値を小さくして前記検出を行うことを特徴とする請求項2記載の画像処理装置。
- 前記赤目候補画素が、前記顔領域中の画素のうち、彩度が前記彩度閾値よりも大きい画素であることを特徴とする請求項3記載の画像処理装置。
- 前記赤目領域検出手段が検出した赤目領域中の画素の彩度を予め定められたレベルに低減する補正処理を行う赤目補正手段をさらに有し、
前記赤目補正手段が、前記光源が点灯されたと前記判別手段により判別された場合に、非点灯であったと判別された場合よりも前記レベルを大きくすることを特徴とする請求項1乃至請求項4のいずれか1項に記載の画像処理装置。 - 前記判別手段が、前記撮像画像の付加情報から前記判別を行うことを特徴とする請求項1乃至請求項5のいずれか1項に記載の画像処理装置。
- 請求項1乃至請求項6のいずれか1項に記載の画像処理装置と、
前記赤目現象を低減するための光源及びフラッシュとして機能する少なくとも1つの光源とを有する撮像装置であって、
前記画像処理装置が、前記少なくとも1つの光源を用いてフラッシュ撮影した撮像画像から前記赤目領域を検出することを特徴とする撮像装置。 - 撮像画像から赤目領域を検出する画像処理方法であって、
取得手段が、記憶装置から撮像画像を取得する取得工程と、
前記撮像画像の撮影前に、赤目現象を低減するための光源が点灯されたか、非点灯であったかを判別手段が判別する判別工程と、
顔検出手段が、前記撮像画像中の顔領域を検出する顔検出工程と、
赤目領域検出手段が、前記顔領域中から予め定めた条件を満たす領域を赤目領域として検出する赤目領域検出工程とを有し、
前記赤目領域検出工程において前記赤目領域検出手段は、前記光源が点灯されたと前記判別工程で判別された場合には、非点灯であったと判別された場合よりも前記予め定めた条件を緩くして前記検出を行うことを特徴とする画像処理方法。 - コンピュータに、請求項8記載の画像処理方法の各工程を実行させるためのプログラム。
- 請求項9記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007050200A JP4781299B2 (ja) | 2007-02-28 | 2007-02-28 | 画像処理装置及び画像処理方法並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007050200A JP4781299B2 (ja) | 2007-02-28 | 2007-02-28 | 画像処理装置及び画像処理方法並びに撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008219154A JP2008219154A (ja) | 2008-09-18 |
JP2008219154A5 JP2008219154A5 (ja) | 2010-04-08 |
JP4781299B2 true JP4781299B2 (ja) | 2011-09-28 |
Family
ID=39838724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007050200A Expired - Fee Related JP4781299B2 (ja) | 2007-02-28 | 2007-02-28 | 画像処理装置及び画像処理方法並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4781299B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6156532B2 (ja) * | 2016-02-29 | 2017-07-05 | 株式会社ニコン | 領域抽出装置、撮像装置、及び領域抽出プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3684017B2 (ja) * | 1997-02-19 | 2005-08-17 | キヤノン株式会社 | 画像処理装置及び方法 |
US6940545B1 (en) * | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
JP2003179807A (ja) * | 2001-12-13 | 2003-06-27 | Fuji Photo Film Co Ltd | 撮像装置 |
-
2007
- 2007-02-28 JP JP2007050200A patent/JP4781299B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008219154A (ja) | 2008-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5089405B2 (ja) | 画像処理装置及び画像処理方法並びに撮像装置 | |
JP4262082B2 (ja) | 画像処理装置及びその制御方法とプログラム及び記憶媒体 | |
JP4254873B2 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
JP4574459B2 (ja) | 撮影装置及びその制御方法及びプログラム及び記憶媒体 | |
JP4663700B2 (ja) | 撮影装置、及び撮影方法 | |
US8610817B2 (en) | Image-capturing apparatus and control method therefor | |
JP2010141649A (ja) | 撮像装置、顔検出方法及びプログラム | |
JP2005167697A (ja) | 赤目補正機能を有する電子カメラ | |
JP2020102059A (ja) | 画像処理装置 | |
JP4906632B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2009290782A (ja) | 撮像装置、その制御方法及びプログラム | |
JP2009038749A (ja) | 画像処理装置、画像処理装置の制御方法、および、これを実行させるためのプログラム | |
JP4781299B2 (ja) | 画像処理装置及び画像処理方法並びに撮像装置 | |
US8223253B2 (en) | Image pickup device and method of controlling same | |
JP2009017135A (ja) | 撮像装置、撮像方法、及びプログラム | |
JP4885079B2 (ja) | デジタルカメラ、撮影方法及び撮影プログラム | |
JP5828722B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP4773924B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP5137343B2 (ja) | 撮像装置および撮像方法 | |
JP4902512B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP4909009B2 (ja) | 撮像装置及び画像処理方法及びプログラム及び記憶媒体 | |
JP5022811B2 (ja) | 画像処理装置及び画像処理方法並びに撮像装置 | |
JP5253184B2 (ja) | 撮像装置、顔検出方法及びプログラム | |
JP2008060844A (ja) | 画像処理装置及び画像処理方法 | |
JP2008109503A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110704 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |