JP5148989B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関し、特に色相ずれの解消に関する。

逆光等の照明条件で撮影された画像を補正するため、輝度やコントラストを補正する階調補正が知られている。ガンマ補正やヒストグラム補正はその代表であるが、一定の係数で補正するため、白飛びや黒つぶれが生じる問題がある。

一方、画像データの階調値だけでなく、補正すべき画素の周辺画素の情報を用いて補正係数を決定する適応的階調補正が提案されており、画像の内容に応じた補正が可能となっている。非特許文献１には、適応的階調補正が開示されている。適応的階調補正では、Ｒｅｔｉｎｅｘ理論を基にしており、Ｒｅｔｉｎｅｘ理論では、入力画像を照明光と反射率の積で表されるとし、入力画像から照明光を分離することで反射率画像を補正画像として得るものである。いま、入力画像Ｉ＝照明光Ｌ×反射率Ｒ（補正画像）とすると、Ｒ（ｘ，ｙ）＝ｅｘｐ｛ｌｏｇ（Ｉ（ｘ，ｙ））−ｌｏｇ（Ｌ（ｘ，ｙ））｝である。照明光の推定には変分法が用いられ、解像度が原画像の１／２^ｋのレイヤｋを複数作成し、低解像度のレイヤから照明光更新の計算を繰り返す。照明光更新の計算は、Ｌ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−μＮＳＤ×Ｇ（ｘ，ｙ）である。ここで、Ｇ（ｘ，ｙ）はコスト関数の勾配、μＮＳＤは学習係数である。具体的には、まずＧ（ｘ，ｙ）を計算し、次にμＮＳＤ（ｘ，ｙ）を計算し、これらに基づいてＬ（ｘ，ｙ）を計算するという処理を繰り返す。

また、特許文献１では、人物撮影モードが選択された場合に、ＡＥ（自動露出）検出手段により算出された適正な露出値よりも露出値をアンダーに設定して画像を撮影するとともに、撮影して得られた画像データに対して階調変換処理後の画像データのダイナミックレンジを広くするγ変換テーブルを用いて階調補正を施すことにより、被写体中心付近における輝度が不足する部分の輝度値を補正することが開示されている。

「適応的階調補正のハードウェア実現におけるＲｅｔｉｎｅｘ理論の比較評価」，野良等，信学技報ＳＩＳ２００５−１６，ｐｐ．１９−２４（２００５年６月） 特開２００７−２７９６７号公報

このように、ＡＥで設定された適正露出値に対してアンダーに設定した露出値で被写体を撮影し、得られた画像データに対して適応的に階調補正を行うことで白飛びや黒つぶれを防止することが可能であるが、画像データによっては階調補正を行うことで色相のズレが生じ、ユーザの意図する画像が得られない問題があった。例えば、適正露出値よりも０．５ＥＶだけアンダーにして撮影し、撮影して得られた画像データに対して適応的階調補正を行った場合、階調補正前の原画像データに青空が存在するときに空の青さがくすんだ感じになってしまう問題があった。また、階調補正前の原画像データにオレンジ色の花が存在するときにその花の色が黄色がかってしまう問題があった。

本発明の目的は、適正露出よりもアンダーに設定して得られた画像データに対して適応的に階調補正を行う際に、色相のずれを防止してユーザの意図する色相の画像を得ることができる撮像装置を提供することにある。

本発明は、被写体像を撮像する撮像装置であって、適正露出値を算出する露出制御手段と、前記適正露出値よりも露出値をアンダーに設定して撮像された画像データに対し、階調補正を行う画像補正手段と、前記画像補正手段による階調補正前の前記画像データの色データが特定の条件を満足するか否かを判定することでアンダーに設定する露出値を調整する調整手段とを有する。

本発明の１つの実施形態では、前記調整手段は、調整量に関するデータを前記画像補正手段に供給し、前記補正手段は、前記調整量に関するデータを用いて補正量を調整する。

また、本発明の他の実施形態では、前記調整手段は、前記画像データに青空が含まれている場合、前記画像データの彩度がしきい値以上に大きい場合、前記画像データの色データが飽和している場合、前記画像データの色度が特定領域に含まれている数がしきい値以上である場合のいずれかにおいて、アンダーに設定する前記露出値をデフォルト値よりも小さく設定する。

また、本発明の他の実施形態では、前記画像補正手段は、前記補正量をデフォルト値よりも小さく設定する。

本発明によれば、適正露出よりもアンダーに設定して得られた画像データに対して適応的に階調補正を行う際に、色相のずれを防止してユーザの意図する色相の画像を得ることができる。

以下、図面に基づき本発明の実施形態について、撮像装置としてデジタルカメラを例にとり説明する。

図１に、本実施形態におけるデジタルカメラの機能ブロック図を示す。なお、撮像素子に被写体像を結像するための光学系、撮像素子からの画像信号を相関二重サンプリングする手段、デジタル信号に変換する手段、画像データを圧縮伸長する手段、プレビュー画像を生成する手段、プレビュー画像や撮影済み画像を表示装置に表示する手段、画像データを記録媒体に記録する手段、オートフォーカス（ＡＦ）手段、自動露出制御（ＡＥ）手段、ホワイトバランス（ＷＢ）処理手段等は公知のデジタルカメラの構成と同一であるため省略する。

図１において、撮像素子としてのＣＣＤ１０はＲ、Ｇ、Ｂ各画像信号を出力する。撮像素子はＣＣＤに限定されるものではなく、ＣＭＯＳでもよい。

領域分割平均部１２は、ＣＣＤ１０で得られたプレビュー画像データを複数の領域に分割し、各領域毎に画素値の平均を算出して出力する。すなわち、画像データの全体をｎ×ｍの矩形領域に分割し、各領域毎にＲ、Ｇ、Ｂの画素値の単純平均を算出する。なお、飽和している画素値も平均計算に算入して算出する。

画像処理後平均値計算部１４は、ホワイトバランス処理や色補正処理等の所定の画像処理を行う際に用いられたパラメータ、例えばホワイトバランスゲイン（ＷＢゲイン）やカラーコレクションマトリクス（ＣＣＭａｔｒｉｘ）等のパラメータを用いて、画像処理後の各領域毎に画素値に平均を算出して出力する。具体的には、領域分割平均部１２で算出された平均値にホワイトバランスゲインと色補正マトリクスを乗算する。なお、Ｒ、Ｇ、Ｂ値が所定の関数で圧縮されている場合、その逆関数を用いて伸長した上でホワイトバランスゲインと色補正マトリクスを乗算する。

輝度／色差変換部２０は、画像処理後平均値計算部１４からの平均値を輝度データと色差データに変換する。具体的には、Ｒ、Ｇ、Ｂ値に対し、次式で変換する。

ここで、Ｂａｍはブルーアンバー、Ｍｇｒはマゼンタグリーンを意味し、Ｂ−Ｙ及びＲ−Ｙを直交軸とする輝度色差平面において図２に示すような関係にある。

彩度判定／色度判定部２６は、分割領域の彩度及び色度を判定する。彩度は、色差データ（Ｍｇｒ，Ｂａｍ）の動径で示される。すなわち、彩度Ｃ＝（Ｍｇｒ^２＋Ｂａｍ^２）^０．５である。彩度の判定は、彩度小と彩度大の２段階で行われ、Ｃ＜Ｃ１の場合に彩度小、Ｃ≧Ｃ１の場合に彩度大と判定される。ここで、Ｃ１は所定のしきい値である。彩度判定／色度判定部２６は、彩度大と判定された領域の数を計数して出力する。彩度大と判定された領域の数をｎｕｍＢｌｏｃｋＨｉＣｈｒｏｍａとする。

また、彩度判定／色度判定部２６は、彩度小と判定された領域で、かつ、図３に示すような特定の３つの領域１００、２００、３００に（Ｍｇｒ，Ｂａｍ）が存在する領域の数を計数して出力する。領域１００、２００、３００のいずれかに存在する領域の数をｎｕｍＢｌｏｃｋＭｉｄｃｈｒｏｍａとする。
領域１００は、ｔｈｒＢ４＜Ｂａｍ＜ｔｈｒＢ６を満たし、かつ、ｔｈｒＭ１＜Ｍｇｒ＜ｔｈｒＭ２を満たす領域である。
領域２００は、ｔｈｒＢ１＜Ｂａｍ＜ｔｈｒＢ３を満たし、かつ、ｔｈｒＭ１＜Ｍｇｒ＜ｔｈｒＭ２を満たす領域である。
領域３００は、ｔｈｒＢ２＜Ｂａｍ＜ｔｈｒＢ５を満たし、かつ、ｔｈｒＭ２＜Ｍｇｒ＜ｔｈｒＭ３を満たす領域である。
ここで、ｔｈｒＢ＜ｔｈｒＢ２＜ｔｈｒＢ３＜ｔｈｒＢ４＜ｔｈｒＢ５であり、ｔｈｒＭ１＜ｔｈｒＭ２＜ｔｈｒＭ３である。

ＡＥ制御部２２は、画像データに空が含まれているか否かの判定結果を出力する。

青空判定部２４は、ＡＥ制御部２２からの判定結果と、輝度／色差変換部２０からの色差データＢとから、画像データに青空が含まれているか否かを判定する。具体的には、ある領域が、ＡＥの空領域判定結果が空ありの判定結果であり、かつ、図４に示すようにその領域の色差データ（Ｍｇｒ，Ｂａｍ）が以下の条件を満たす場合に青空と判定する。

ｔｈｒｓｋｙＭ１＜Ｍｇｒ＜ｔｈｒｓｋｙＭ２

ｔｈｒｓｋｙＢ＜Ｂａｍ
ここで、ｔｈｒｓｋｙＭ１、ｔｈｒｓｋｙＭ１、ｔｈｒｓｋｙＢはそれぞれ所定のしきい値である。要するに、色差データＢａｍがしきい値より大きく、色差データＭｇｒが所定の領域４００にある場合に青空と判定する。青空判定部２４は、青空と判定された領域の数を計数して出力する。青空と判定された領域の数をｎｕｍＢｌｏｃｋＳｋｙとする。

飽和判定部２８は、画素処理後平均値計算部１４からの各領域のＲ、Ｇ、Ｂ値を用いて飽和しているか否かを判定する。具体的には、Ｒ、Ｇ、Ｂ値が０と２５５の間にある場合に飽和していないと判定し、それ以外を飽和していると判定する。飽和判定部２８は、飽和していると判定された領域の数を計数して出力する。飽和している領域の数をｎｕｍＢｌｏｃｋＳａｔとする。

画像処理露出補償調整／露出補正量計算部３０は、青空判定部２４の計数結果ｎｕｍＢｌｏｃｋＳｋｙ、彩度判定／色度判定部２６の計数結果ｎｕｍＢｌｏｃｋＨｉｃｈｒｏｍａ、ｎｕｍＢｌｏｃｋＭＩｄＣｈｒｏｍａ、飽和判定部２８の計数結果ｎｕｍＢｌｏｃｋＳａｔに基づいて、適応的階調補正を行った場合の補正結果を予測し、色相がずれると予測した場合に露出補正量を計算するとともに補正量を調整する。すなわち、ＡＥ制御部２２により適正露出値が設定され、この適正露出値に対してアンダーとなる露出値で撮影し、撮影した得られた画像データに対して階調補正手段で適応的階調補正を行って出力する際に、画像処理露出補償調整／露出補正量計算部３０は、適正露出値に対するアンダーの露出値を変更し、さらに、階調補正部３２における補正量を変更する。通常、アンダーの露出値は所定値、例えば０．５ＥＶに設定されており、階調補正部３２における補正量も定まっている。画像処理露出補償調整／露出補正量計算部３０は、所定のアンダー露出値及び所定の補正量を計数結果に基づき変更する。具体的には、画像処理露出補償調整／露出補正量計算部３０は、画像データが飽和している、あるいは彩度が大きい、あるいは色度が特定である、あるいは青空のいずれかに該当する場合、階調補正部３２で補正すると色相ずれが生じるものと予想し、アンダー露出値及び補正量を調整する。なお、画像処理露出補償調整／露出補正量計算部３０は、アンダー露出値のみを調整してもよく、アンダー露出値と補正量をともに調整してもよい。

例えば、デフォルトのアンダー露出値を０．５ＥＶとする。すなわち、適正露出値に対して０．５ＥＶだけアンダーに露出補正して撮影するものとする。このとき、画像処理露出補償調整／露出補正量計算部３０は、青空判定部２４の計数結果ｎｕｍＢｌｏｃｋＳｋｙをしきい値と比較し、しきい値を超える場合には青空領域が多いと判定し、ユーザは快晴の青空の色を再現したい意図を有するものと判定し、アンダー露出値をデフォルト値の０．５ＥＶではなく０．３ＥＶに変更し、アンダー露出値をデフォルト値よりも小さくする。アンダー露出値をデフォルト値よりも小さくすると、階調補正部３２における補正量もそれに応じて小さくなり、階調補正による色相のずれも抑制される。階調補正部３２は、露出アンダーの画像に対し、アンダー分だけ補償するように階調補正を行うからである。なお、画像処理露出補償調整／露出補正量計算部３０は、さらに顔検出しているか否かを判定し、青空判定部２４の計数結果ｎｕｍＢｌｏｃｋＳｋｙがしきい値を超え、かつ、顔検出していない場合にアンダー露出値をデフォルト値よりも小さくしてもよい。顔検出している場合、ユーザは青空の青よりも人物の顔のコントラストを重視している可能性が高いからである。

また、画像処理露出補償調整／露出補正量計算部３０は、彩度判定／色度判定部２６の計数結果であるｎｕｍＢｌｏｃｋＨｉｃｈｒｏｍａをしきい値、具体的には０と比較し、０より大きい場合にアンダー露出値を０．３ＥＶに変更してデフォルト値よりも小さくする。また、飽和判定部２８の計数結果であるｎｕｍＢｌｏｃｋＳａｔをしきい値、具体的には０と比較し、０より大きい場合にアンダー露出値を０．３ＥＶに変更してデフォルト値よりも小さくする。また、画像処理露出補償調整／露出補正量計算部３０は、彩度判定／色度判定部２６の計数結果でありｎｕｍＢｌｏｃｋＭｉｄＣｈｒｏｍａをしきい値と比較し、画像データ全体に対してあるしきい値以上存在する場合にアンダー露出値を０．３ＥＶに変更してデフォルト値よりも小さくする。

また、画像処理露出補償調整／露出補正量計算部３０は、画像が高彩度である場合、具体的には、彩度大のブロック数であるｎｕｍＢｌｏｃｋＨＩＣｈｒｏｍａが０より大きい場合、あるいは飽和ブロック数であるｎｕｍＢｌｏｃｋＳａｔが０より大きい場合、あるいは特定の色度のブロック数であるｎｕｍＢｌｏｃｋＭｉｄＣｈｒｏｍａがしきい値より大きい場合、アンダー補正値を０．３ＥＶに変更してデフォルト値よりも小さくするとともに、階調補正部３２における補正量も小さくする。既述したように、階調補正部３２における補正量が過剰であると、色相ずれが生じる場合がある。そこで、高彩度データの場合にはアンダー露出値だけでなく階調補正部３２における補正量も同時に小さくすることで、色相ずれを効果的に防止できる。

階調補正部３２は、露出アンダーで撮影された画像データに対し、適応的に階調補正を行って出力する。階調補正の方法は任意であるが、輝度データに対して適応的なγ関数を用いてγ変換するとともに、色差データに対して補正を行うことで階調補正を行う。階調補正部３２は、アンダー露出で撮影された画像データの露出を補償して適正露出となるように階調補正するため、露出補正量が小さい場合にはその分だけ階調補正の補正量も小さくなり、露出補正量が大きい場合にはその分だけ階調補正の補正量も大きくなり、階調補正の効果が顕著に現れる（言い換えると、階調補正の歪みも顕著に現れる）。階調補正部３２における補正量は、適正露出に対するアンダー分だけ補償するように設定されるため、階調補正部３２における補正量を抑制すべく、画像処理露出補償調整／露出補正量計算部３０が階調補正部３２に指令する。すなわち、階調補正部３２は、デフォルト状態ではアンダー露出値０．５ＥＶの画像に対して、このアンダー分を補償するように階調補正の補正量が設定されるが（これをデフォルトの補正量とする）、画像処理露出補償調整／露出補正量計算部３０からアンダー露出値（図１における露出値）が供給されるとともに補正量変更の指令（図１における補正量）が出力されると、この指令に応じて階調補正の補正量を変更し、デフォルトの補正量よりも小さくする。補正量の変更は、γ関数を変更する（リニアに近づける）ことで実現できる。輝度データをγ変換するとともに色差データも補正しているので、補正量を小さくする際にはγ関数をリニア側に変更するとともに色差データを補正するための補正関数もリニアに近づけることが望ましい。なお、図１における青空判定部２４、彩度判定／色度判定部２６、飽和判定部２８、画像処理露出補償調整／露出補正量計算部３０はＣＰＵで構成することができる。階調補正部３２は、専用のＤＳＰで構成することができる。

このように、本実施形態では、画像データが、
（１）青空領域を含んでいるか
（２）色データが飽和しているか
（３）彩度が大きいか
（４）色度が特定の領域にあるか
を判定し、これらのいずれかの条件を満たす場合にＡＥ制御部２２で設定される適正露出値よりもアンダーで撮影する際のアンダー露出値をデフォルト値よりも小さくし、あるいは、アンダー露出値をデフォルト値よりも小さく設定するとともに階調補正量も小さく設定することで色相ずれを防止できる。階調補正量を小さく設定するとは、階調補正量はアンダー露出値に応じて決定され、アンダー露出値が小さくなればそれに応じて階調補正量も小さくなるが、アンダー露出値に応じて決定される階調補正量をデフォルト値とした場合に、このデフォルト値よりもさらに小さくする（階調補正を抑制する）ことを意味する。本願出願人は、本実施形態の処理方法により、青空を撮影した画像の空の青がより自然な感じとなり、花の色もより自然な色合いとなることを確認している。

本実施形態において、上記の４つの条件は適宜優先順位を設定することができ、あるいは４つの条件を適宜組み合わせることができる。例えば、（１）の優先順位を高くし、まず画像データに青空が含まれているかを判定し、青空が含まれていればアンダー露出値を小さく設定する等である。

本実施形態では、アンダー露出値のデフォルト値を０．５ＥＶとし、上記（１）〜（４）のいずれかを満たす場合にアンダー露出値を０．３ＥＶに変更しているが、これは例示であって、０．２ＥＶに設定する、あるいは０．４ＥＶに設定する等、任意に設定することができる。

実施形態の機能ブロック図である。 実施形態の彩度判定基準説明図である。 実施形態の色度判定基準説明図である。 実施形態の青空判定基準説明図である。

符号の説明

１０ ＣＣＤ、１２ 領域分割部、１４ 画像処理後平均値計算部、２０ 輝度／色差変換部、２２ ＡＥ制御部、２４ 青空判定部、２６ 彩度判定／色度判定部、２８ 飽和判定部、３０ 画像処理露出補償調整／露出補正量計算部。

Claims (7)

1. 被写体像を撮像する撮像装置であって、
   適正露出値を算出する露出制御手段と、
   前記適正露出値よりも露出値をアンダーに設定して撮像された画像データに対し、階調補正を行う画像補正手段と、
   前記画像補正手段による階調補正前の前記画像データの色データが特定の条件を満足するか否かを判定することでアンダーに設定する露出値を調整する調整手段と、
   を有することを特徴とする撮像装置。
2. 請求項１記載の装置において、
   前記調整手段は、調整量に関するデータを前記画像補正手段に供給し、
   前記補正手段は、前記調整量に関するデータを用いて補正量を調整することを特徴とする撮像装置。
3. 請求項２記載の装置において、
   前記調整手段は、前記画像データに青空が含まれている場合に、アンダーに設定する前記露出値をデフォルト値よりも小さく設定することを特徴とする撮像装置。
4. 請求項２記載の装置において、
   前記調整手段は、前記画像データの彩度がしきい値以上に大きい場合に、アンダーに設定する前記露出値をデフォルト値よりも小さく設定することを特徴とする撮像装置。
5. 請求項２記載の装置において、
   前記調整手段は、前記画像データの色データが飽和している場合に、アンダーに設定する前記露出値をデフォルト値よりも小さく設定することを特徴とする撮像装置。
6. 請求項２記載の装置において、
   前記調整手段は、前記画像データの色度が特定領域に含まれている数がしきい値以上である場合に、アンダーに設定する前記露出値をデフォルト値よりも小さく設定することを特徴とする撮像装置。
7. 請求項４〜６のいずれかに記載の装置において、
   前記画像補正手段は、前記補正量をデフォルト値よりも小さく設定することを特徴とする撮像装置。

Images