しかしながら、上記特許文献1に示す技術では、入力画像のダイナミックレンジに応じて圧縮率を設定しているため、場合によっては、主被写体(主被写体輝度)の照明成分が圧縮されることがあり、元画像(撮影画像)と比べて、例えば一般的に写真における重要な部分である人物の顔の階調がつぶれてしまう(例えば明るい顔の部分がさらに明るくなり所謂白飛びした状態になる)。すなわち図14に示すように、符号911に示す輝度範囲に主被写体輝度が入ると、圧縮によりコントラストが低下するといった問題がある。この問題は、図15に示すように、特許文献2に示す技術を用いて、符号921に示す元画像の所定値θ未満の領域を覆い焼き処理しないことで回避されることもあるが、所定値θ以上の領域において例えば符号922に示す部分の反射率成分が覆い焼き処理された場合には、上述したように画像I’>元画像Iとなることがあり、S/N比が悪化してしまう(暗い部分の画像を明るくするとノイズが目立つようになり画質が低下する)。また、特許文献1の技術では、画像全体に対する覆い焼き処理を行った後、画像I’と元画像Iとを比較するため、処理時間が長くなってしまう。一般的に覆い焼き処理における処理時間の多くは、メディアンフィルタやイプシロンフィルタ等のエッジ維持フィルタを用いた照明成分の抽出処理に要している。
本発明は、上記事情に鑑みてなされたもので、覆い焼き処理において、主被写体の照明成分(低周波成分)が圧縮されて主被写体のコントラストが低下されることなく、処理時間の短縮を図ることが可能な撮像装置及び画像処理方法を提供することを目的とする。
本発明の請求項1に係る撮像装置は、被写体光を撮像する撮像手段と、前記撮像手段による撮影画像から所定周波数の第1成分を抽出するための第1成分抽出手段と、前記撮影画像から前記第1成分より周波数の高い第2成分を抽出するための第2成分抽出手段と、前記第1成分抽出手段によって抽出された第1成分のダイナミックレンジを圧縮するための圧縮手段と、前記圧縮手段によって第1成分のダイナミックレンジが圧縮されてなる圧縮第1成分と前記第2成分抽出手段によって抽出された第2成分とから新たな画像を生成するための画像生成手段と、前記第1成分に対する所定のレベル値を設定するためのレベル値設定手段とを備え、前記圧縮手段は、前記第1成分における前記レベル値設定手段によって設定されたレベル値以上の領域のダイナミックレンジを圧縮することを特徴とする。
上記構成によれば、撮像手段によって被写体光が撮像され、第1成分抽出手段によって撮像手段による撮影画像から所定周波数の第1成分(例えば照明成分又は低周波成分)が抽出され、第2成分抽出手段によって撮影画像から第1成分より周波数の高い第2成分(例えば反射率成分又は高周波成分)が抽出される。そして、レベル値設定手段によって第1成分に対する所定のレベル値が設定され、圧縮手段によって、第1成分におけるこの設定されたレベル値以上の領域での第1成分のダイナミックレンジが圧縮され(第1成分に対するDR圧縮が行われ)、このダイナミックレンジが圧縮された圧縮第1成分と第2成分とから画像生成手段によって新たな画像が生成される。
また、請求項1に係る撮像装置は、前記レベル値設定手段は、主被写体の所定輝度値を示す主被写体輝度以上の値を前記レベル値として設定することを特徴とする。この構成によれば、レベル値設定手段によって、主被写体の所定輝度値を示す主被写体輝度以上の値がレベル値として設定される。
請求項2に係る撮像装置は、請求項1において、前記レベル値設定手段は、主被写体に応じて前記レベル値を設定することを特徴とする。この構成によれば、レベル値設定手段によって、主被写体に応じたレベル値が設定される。
請求項3に係る撮像装置は、請求項1において、前記レベル値設定手段は、所定の輝度ヒストグラムにおける度数の小さい輝度値を前記レベル値として設定することを特徴とする。この構成によれば、レベル値設定手段によって、所定の輝度ヒストグラムにおける度数の小さい輝度値がレベル値として設定される。
請求項4に係る撮像装置は、請求項1において、前記撮像手段は、入射光量に応じた電気信号を発生するとともに、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有する撮像センサであって、前記レベル値設定手段は、前記線形特性と対数特性との切り替わり点に応じて前記レベル値を設定することを特徴とする。この構成によれば、撮像手段が線形特性と対数特性とからなる光電変換特性を有する撮像センサとされ、レベル値設定手段によって線形特性と対数特性との切り替わり点(変曲点)に応じてレベル値が設定される。
請求項5に係る撮像装置は、請求項1〜4のいずれかにおいて、前記圧縮手段は、前記第1成分に対するダイナミックレンジ圧縮用の第1圧縮パラメータを、前記レベル値と前記撮像手段の撮像ダイナミックレンジとの情報に基づいて決定することを特徴とする。この構成によれば、圧縮手段によって、第1成分に対するDR圧縮用の第1圧縮パラメータが、レベル値と撮像手段の撮像ダイナミックレンジとの情報に基づいて決定される。
請求項6に係る撮像装置は、請求項5において、前記圧縮手段は、前記圧縮第1成分を示す特性関数である第1圧縮特性が、少なくとも前記レベル値に関する第1座標点(S)と、前記撮像手段の撮像ダイナミックレンジにおける最大出力値に関する第2座標点(M’)との2点を通る条件に基づいて前記第1圧縮パラメータを算出することを特徴とする。この構成によれば、圧縮手段によって、DR圧縮後の第1成分を示す特性関数である第1圧縮特性が、少なくともレベル値に関する第1座標点(S)と撮像手段の撮像ダイナミックレンジにおける最大出力値に関する第2座標点(M’)との2点を通る条件に基づいて第1圧縮パラメータが算出される。
請求項7に係る撮像装置は、請求項1〜6のいずれかにおいて、前記第1成分抽出手段による第1成分の抽出処理前に、撮影画像から、該撮影画像における第1成分抽出領域に関する評価を行うための評価用画像を作成する評価画像作成手段と、前記評価画像作成手段によって作成された評価用画像に基づいて前記第1成分抽出領域を設定する領域設定手段とをさらに備え、前記第1成分抽出手段は、撮影画像から、前記領域設定手段によって設定された第1成分抽出領域の第1成分を抽出することを特徴とする。この構成によれば、第1成分の抽出処理前に、評価画像作成手段によって撮影画像から評価用画像が作成され、領域設定手段によってこの評価用画像に基づいて第1成分抽出領域が設定され、第1成分抽出手段によって、撮影画像から第1成分抽出領域の第1成分が抽出される。
請求項8に係る撮像装置は、請求項7において、前記評価画像作成手段は、撮影画像に対する線形フィルタによるフィルタ処理に基づき前記評価用画像を作成することを特徴とする。この構成によれば、評価画像作成手段によって、撮影画像に対する線形フィルタによるフィルタ処理に基づき評価用画像が作成される。
請求項9に係る撮像装置は、請求項7又は8において、前記領域設定手段は、前記評価用画像の画素値が、前記レベル値以下の所定の閾値以上となる画素値領域を前記第1成分抽出領域として設定することを特徴とする。この構成によれば、領域設定手段によって、当該レベル値以下の所定の閾値以上の領域が第1成分抽出領域として設定される。
請求項10に係る撮像装置は、請求項6において、前記圧縮手段は、前記レベル値以上の領域における前記第1圧縮特性と、該レベル値未満の領域における、前記第1圧縮パラメータと異なる第2圧縮パラメータを有する第2圧縮特性とからなる圧縮特性に基づいて、前記第1成分のダイナミックレンジを圧縮することを特徴とする。この構成によれば、圧縮手段によって、第1圧縮特性と第2圧縮特性とからなる圧縮特性に基づいて第1成分のダイナミックレンジが圧縮される。
請求項11に係る撮像装置は、請求項10において、前記圧縮手段は、前記第2圧縮特性が、前記第1座標点(S)と、前記レベル値以上の領域において該第2圧縮特性のグラフの傾きが前記第1圧縮特性の傾きより大きく、且つ前記第1座標点(S)を通る第1成分の線形特性の傾きより小さくなる第3座標点(M1)との2点を通る条件に基づいて、前記第2圧縮パラメータを算出することを特徴とする。この構成によれば、圧縮手段により、第2圧縮特性が第1座標点(S)と第3座標点(M1)との2点を通る条件に基づいて第2圧縮パラメータが算出される。
請求項12に係る撮像装置は、請求項1〜9のいずれかにおいて、前記圧縮手段は、前記圧縮第1成分に対応する入出力値が記述されたルックアップテーブルを作成し、該作成したルックアップテーブルの該入出力値に対して所定の平滑処理を行うことを特徴とする。この構成によれば、圧縮手段によって、ルックアップテーブルが作成され、このルックアップテーブルの入出力値に対して所定の平滑処理が行われる。
請求項13に係る撮像装置は、請求項12において、前記圧縮手段は、前記平滑処理として、前記入出力値に対する所定範囲の移動平均処理を行うことを特徴とする。この構成によれば、圧縮手段によって、平滑処理として、入出力値に対する所定範囲の移動平均処理が行われる。
請求項14に係る画像処理方法は、被写体光を撮像手段によって撮像する第1の工程と、前記撮像手段による撮影画像から第1成分抽出手段によって所定周波数の第1成分を抽出する第2の工程と、前記撮影画像から第2成分抽出手段によって前記第1成分より周波数の高い第2成分を抽出する第3の工程と、前記第1成分抽出手段により抽出された第1成分のダイナミックレンジを圧縮手段によって圧縮する第4の工程と、前記圧縮手段により第1成分のダイナミックレンジが圧縮されてなる圧縮第1成分と前記第2成分抽出手段により抽出された第2成分とから画像生成手段によって新たな画像を生成する第5の工程と、前記第1成分に対する所定のレベル値をレベル値設定手段によって設定する第6の工程とを有し、前記第4の工程は、前記第1成分における前記レベル値設定手段により設定されたレベル値以上の領域のダイナミックレンジを圧縮手段によって圧縮する工程であることを特徴とする。
上記構成によれば、第1〜第6の工程において、レベル値設定手段によって第1成分に対する所定のレベル値が設定され、圧縮手段によって、第1成分におけるこの設定されたレベル値以上の領域での第1成分のダイナミックレンジが圧縮され(第1成分に対するDR圧縮が行われ)、このダイナミックレンジが圧縮された圧縮第1成分と第2成分とから画像生成手段によって新たな画像が生成される。
また、請求項14に係る画像処理方法は、前記第6の工程は、前記レベル値設定手段によって、主被写体の所定輝度値を示す主被写体輝度以上の値を前記レベル値として設定する工程であることを特徴とする。この構成によれば、第6の工程において、レベル値設定手段によって主被写体の所定輝度値を示す主被写体輝度以上の値がレベル値として設定される。
請求項1に係る撮像装置によれば、第1成分(例えば照明成分又は低周波成分)に対する或るレベル値を設定して、この設定したレベル値に応じて第1成分のDR圧縮領域を決めることが可能となり、例えばレベル値設定手段に設定するレベル値を主被写体輝度以上の値とすることで、覆い焼き処理において、主被写体の第1成分をDR圧縮することなく主被写体のコントラスト低下を防止できる。また、例えばレベル値未満の第1成分に対してはDR圧縮を行わない(例えばレベル値未満では元画像を選択する)といった処理が可能となり、当該覆い焼き処理における処理時間の短縮を図ることができる。なお、このように、覆い焼き処理後の画像の画素値が元画像の画素値を上回らないようにすることができるため、S/N比が悪化しない覆い焼き処理が可能となる。
また、請求項1に係る撮像装置によれば、覆い焼き処理において、主被写体輝度以上の値として設定されたレベル値以上の領域に対して謂わば選択的にDR圧縮を行うことが可能となり、主被写体の第1成分がDR圧縮されて主被写体のコントラストが低下するといったことを確実に防止することができる。
請求項2に係る撮像装置によれば、主被写体(被写体)に応じた好適な覆い焼き処理が容易に行えるようになる。すなわち、主被写体の第1成分がDR圧縮されないようにする覆い焼き処理において、その覆い焼き処理の自由度が高くなる。
請求項3に係る撮像装置によれば、輝度ヒストグラムにおける度数の大きな部分に対する圧縮を回避することができ、覆い焼き処理における階調特性の変化を目立たなくすることができる。
請求項4に係る撮像装置によれば、撮像センサ(リニアログセンサ)に対するレベル値の設定を容易に行うことができる。
請求項5に係る撮像装置によれば、レベル値の情報に基づいて主被写体の第1成分のDR圧縮がなされないようにするとともに、撮像ダイナミックレンジの情報に基づいて例えばDR圧縮後の第1成分が当該撮像ダイナミックレンジに収まるような第1圧縮パラメータを設定することができ、ひいては主被写体のコントラスト低下が防止され且つ広ダイナミックレンジ化が図られた、より高画質な画像を得ることができる。
請求項6に係る撮像装置によれば、第1座標点(S)及び第2座標点(M’)という2点を通る関数の解を求めるという簡易な方法で第1圧縮パラメータを算出することができ、ひいては覆い焼き処理の高速化を図ることができる。
請求項7に係る撮像装置によれば、第1成分抽出領域を例えばレベル値以上の領域となるように設定することで、覆い焼き処理において、先ず第1成分全体に対する第1成分の抽出処理を行った後に、主被写体の第1成分がDR圧縮されたものとしないようレベル値未満の領域は元画像を選択するといった動作を行うことなく(この場合、レベル値未満の領域に対し、一般に多くの処理時間を要する第1成分の抽出処理が行われる分だけ処理時間が無駄になる)、当該レベル値以上の領域に対してのみ第1成分の抽出処理(この抽出した第1成分のDR圧縮)を行うことが可能となり、覆い焼き処理の時間を短縮することができる。
請求項8に係る撮像装置によれば、評価用画像を、一般に例えばエッジ維持フィルタ等の非線形フィルタと比べて高速なフィルタ処理が可能な線形フィルタを用いて、容易に且つ短時間に作成することができる。
請求項9に係る撮像装置によれば、第1成分抽出領域設定時と本番の第1成分抽出時とにおける、DR圧縮の要否判定の誤差を防止するためのマージン(レベル値と閾値との差値)を有して第1成分抽出領域を設定することができ、当該評価用画像を用いた覆い焼き処理をより正確に行うことが可能となる。
請求項10に係る撮像装置によれば、圧縮手段による圧縮特性が、或るレベル値を境として、第1圧縮特性と、この第1圧縮特性の第1圧縮パラメータと異なる第2圧縮パラメータを有するすなわち傾きが異なる第2圧縮特性とからなるものとされるため、当該レベル値を境とした各圧縮特性(の傾き)を適正なものに設定することで、レベル値付近での圧縮特性が急激に変化することなく画質の変化を小さくすることができ、撮影画像における輝度変化を緩和することができる。また、レベル値未満の照明成分の領域では、S/N比の劣化を抑えた覆い焼き処理が可能となる。
請求項11に係る撮像装置によれば、第1座標点(S)と第3座標点(M1)との2点を通る条件に基づいて第2圧縮パラメータが算出される、すなわち第2圧縮特性が当該第1座標点(S)と第3座標点(M1)とを通る特性とされるため、第1圧縮特性に対する、レベル値付近での画質(各圧縮特性間の)変化を小さくすることが可能な第2圧縮特性を容易に求めることができる。
請求項12に係る撮像装置によれば、ルックアップテーブルが作成され、このルックアップテーブルの入出力値に対して所定の平滑処理が行われる構成であるので、レベル値付近での圧縮特性が急激に変化することなく(平滑処理により線形特性と対数特性とが滑らかに接続された圧縮特性に修正されて)画質の変化を小さくすることができ、撮影画像における輝度変化を緩和することができる。また、レベル値未満の照明成分の領域では、S/N比の劣化を抑えた覆い焼き処理が可能となる。
請求項13に係る撮像装置によれば、平滑処理として、入出力値に対する所定範囲の移動平均処理が行われるので、移動平均処理という簡易な処理によって平滑処理を行うことができ、ひいてはレベル値付近での輝度変化の緩和を容易に且つ短時間に行うことができる。
請求項14に係る画像処理方法によれば、第1成分に対する或るレベル値を設定して、この設定したレベル値に応じて第1成分のDR圧縮領域を決めることが可能となり、例えばレベル値設定手段に設定するレベル値を主被写体輝度以上の値とすることで、覆い焼き処理において、主被写体の第1成分をDR圧縮することなく主被写体のコントラスト低下を防止できる。また、例えばレベル値未満の第1成分に対してはDR圧縮を行わない(例えばレベル値未満では元画像を選択する)といった処理が可能となり、当該覆い焼き処理における処理時間の短縮を図ることができる。なお、このように、覆い焼き処理後の画像の画素値が元画像の画素値を上回らないようにすることができるため、S/N比が悪化しない覆い焼き処理が可能となる。
また、請求項14に係る画像処理方法によれば、覆い焼き処理において、主被写体輝度以上の値として設定されたレベル値以上の領域に対して謂わば選択的にDR圧縮を行うことが可能となり、主被写体の第1成分がDR圧縮されて主被写体のコントラストが低下するといったことを確実に防止することができる。
(実施形態1)
図1は、第1の実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図1に示すようにデジタルカメラ1は、レンズ部2、撮像センサ3、アンプ4、A/D変換部5、画像処理部6、画像メモリ7、制御部8、モニタ部9及び操作部10を備えている。
レンズ部2は、被写体光(光像)を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ3へ導くための光学レンズ系(被写体光の光軸Lに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック)を構成するものである。レンズ部2は、当該レンズの透過光量を調節するための絞り(図略)やシャッタ(図略)を備えており、制御部8によりこの絞りやシャッタの駆動制御がなされる構成となっている。
撮像センサ3は、レンズ部2において結像された被写体光像の光量に応じ、R、G、B各成分の画像信号に光電変換して後段のアンプ4へ出力するものである。本実施形態においては、撮像センサ3として、センサ入射輝度が低い場合(暗時)に出力画素信号(光電変換により発生する出力電気信号)が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合(明時)に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性、換言すれば低輝度側が線形、高輝度側が対数の光電変換特性を有する対数変換型固体撮像素子が用いられる。なお、この光電変換特性の線形特性領域と対数特性領域との切り替り点(以降、変曲点という)は、撮像センサ3の各画素回路に対する所定の制御信号により任意に制御可能とされている。
具体的には、撮像センサ3は例えばフォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、P型又はN型のMOSFET等を備えた対数変換回路を付加し、MOSFETのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂CMOSイメージセンサが採用される。但し、CMOSイメージセンサに限らず、VMISイメージセンサやCCDイメージセンサ等であってもよい。
アンプ4は、撮像センサ3から出力された画像信号を増幅するものであり、例えばAGC(オートゲインコントロール)回路を備え、当該出力信号のゲイン(増幅率)調整を行う。アンプ4は、AGC回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うCDS(相関二重サンプリング)回路を備えていてもよい。
A/D変換部5は、アンプ4にて増幅されたアナログ値の画像信号(アナログ信号)をデジタル値の画像信号(デジタル信号)に変換するものであり、撮像センサ3の各画素で受光して得られる画素信号をそれぞれ例えば12ビットの画素データに変換する。
画像処理部6は、A/D変換部5によるA/D変換処理によって得られた画像信号に対する色補間/色補正処理やホワイトバランス補正処理、特に、本実施形態の主たる特徴点である覆い焼き処理に基づく階調変換処理といった各種画像処理を行うものである。画像処理部6における当該階調変換処理については後に詳述する。なお、画像処理部6は、上記各機能部の他に、例えば信号の固定パターンノイズ(FPN;Fixed Pattern Noise)を除去するFPN補正部やA/D変換部5から入力されるデジタル画像信号の黒レベルを基準の値に補正する黒基準補正部等(いずれも図示略)を備えていてもよい。
画像メモリ7は、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリからなり、画像処理部6で画像処理が施された画像データ等を保存するものである。画像メモリ7は、例えば撮影よる所定フレーム分の画像データを記憶し得る容量を有したものとなっている。
制御部8は、各種制御プログラム等を記憶するROM、一時的にデータを格納するRAM及び制御プログラム等をROMから読み出して実行する中央演算処理装置(CPU)等からなり、デジタルカメラ1全体の動作制御を司るものである。制御部8は、撮像センサ3等の装置各部からの各種信号に基づき装置各部が必要とする制御パラメータ等を算出し、これに基づいて例えばタイミングジェネレータや駆動部(いずれも図示略)を介して装置各部の動作を制御する。制御部8は、本実施形態においては特に、画像処理部6の階調変換処理における照明成分圧縮処理や特性変換処理等の処理動作を制御する。
モニタ部9は、撮像センサ3で撮影された画像或いは画像メモリ7に保存されていた画像等のモニタ表示を行うものである。モニタ部9は、具体的には、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器(LCD;Liquid Crystal Display)等からなる。
操作部10は、デジタルカメラ1に対するユーザによる操作指示入力を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、ニュー選択スイッチ等の各種の操作スイッチ群(操作ボタン群)からなる。例えばレリーズスイッチが押下(オン)されることで、撮像動作、すなわち撮像センサ3により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ7等に記録されるといった一連の撮影動作が実行される。
ここで、上記階調変換処理の機能に関する画像処理部6の構成及び動作の詳細について説明する。図2は、画像処理部6の各機能を説明するための機能ブロック図である。同図に示すように画像処理部6は、主被写体輝度取得部61、特性変換部62、照明成分抽出部63、圧縮開始点設定部64、照明成分圧縮部65、反射率成分算出部66及び画像生成部67を備えている。
主被写体輝度取得部61は、撮像センサ3による撮像によって得られた撮影画像(元画像I)の主被写体輝度を取得(算出)するものである。主被写体輝度取得部61は、図7に示すように例えば分割測光(マルチパターン測光)方式によって、撮像領域400つまり元画像Iを、例えばA〜AJブロックの36個の検出ブロックに分割されてなる中央領域(主被写体領域410という)と、第1〜第16ブロックの16個の検出ブロックに分割されてなる周辺領域(周辺被写体領域420という)とからなる複数の区画に分割し、当該各区画の画像から検出した輝度情報から例えば平均輝度として主被写体輝度を算出する。この場合、例えばA〜AJブロック毎の主被写体輝度ヒストグラム(分布)を算出するとともに、このA〜AJブロック毎の主被写体輝度ヒストグラムから主被写体領域410全体における主被写体全体輝度ヒストグラムを算出し、この主被写体全体輝度ヒストグラムから主被写体領域410に対する平均輝度を算出してもよい。この平均輝度算出の際には、例えば或る所定の閾値を用いて輝度データの「足切り」処理を行ってもよいし、周辺被写体領域の輝度情報(周辺被写体輝度ヒストグラムや周辺被写体全体輝度ヒストグラム)を用いてもよい。なお、主被写体輝度の算出方法は、上記したものに限定されず、種々の方法が採用可能である。また、主被写体輝度は平均輝度として算出せずともよく、例えば最大/最小輝度として算出してもよい。
ここで、図3は、上記階調変換処理による覆い焼き処理の様子を説明するグラフ図である。特性変換部62は、図3に示すように、リニア特性301及びログ特性302からなる光電変換特性を有する元画像Iに対する、特性を統一する処理(特性統一処理)を行うものである。この元画像Iは、撮像センサ3(リニアログセンサ)からの入力画像であり、以下の(1)、(2)式に示すような入力輝度xに対する画素値yの関係式(光電変換特性)を有する。但し、同図中の座標点(Xth、Yth)は、変曲点303を示し、(1)式はリニア特性301である画像I2を示し、(2)式はログ特性302である画像I1を示す。但し、式中の記号「*」は乗算を示し、a、b、α、βは所定の係数を示す(以下も同じ)。
y=a*x+b(0≦x≦Xth) ・・・(1)
y=α*log(x)+β(x>Xth) ・・・(2)
特性変換部62は、ここでは、ログ特性302を、リニア特性301と同じ特性であるリニア特性304に変換する処理を行う。この場合、撮像センサ3の画素値をiとすると、当該特性統一処理により得られる、リニア特性301及びリニア特性304からなる光電変換特性を有する画像(符号310に示す画像It)は、下記の(3)式に基づく変換によって与えられる。但し、式中の記号「/」は除算を示す(以下も同じ)。
if(i>Yth)
It=a*exp((i−β)/α)+b
else
It=i ・・・(3)
なお、特性変換部62は、上記ログ特性302からリニア特性304への変換を、所定のLUT(変換LUTという)を用いて行う。この変換LUTは例えば特性変換部62に備えたLUT記憶部(図示略)に記憶しておいてもよい。
照明成分抽出部63は、上記特性統一処理により得られた画像It(リニア画像)から照明成分を抽出するものである。この画像Itは、所謂Retinex理論によれば、該画像Itにおける照明成分を照明成分L、反射率成分を反射率成分Rとすると、以下の(4)式で表される。なお、画像Itに示す直線グラフを、該画像Itから抽出した照明成分Lを表すものとして適宜扱うものとする。
It=L*R ・・・(4)
この画像Itからの照明成分Lの抽出処理は、メディアンフィルタやイプシロン(ε)フィルタ等の所謂エッジ維持フィルタ(非線形フィルタ)を用いて行われる。これは以下の(5)式で表される。
L=F(It) ・・・(5)
但し、(5)式中の“F”は、上記エッジ維持フィルタを示している。なお、狭義での単に低周波成分を通過させる通常のLPF(ローパスフィルタ;線形フィルタ)では、画像の照明境界(エッジ)においてその変化を正確に抽出することができないため、すなわち、線形フィルタを用いて抽出した信号に基づいてDR圧縮を行うと例えばアーティファクト(画像の暗く沈んだ部分)が出現してしまうため、このような問題を回避してエッジを正確に抽出することが可能なエッジ維持フィルタを用いている。
圧縮開始点設定部64は、上記画像Itから抽出した照明成分Lに対する圧縮処理を行うに際しての、符号305に示す圧縮開始点S、具体的には圧縮開始レベルYsを設定する(入力輝度で見た場合の圧縮開始レベルXsを設定してもよい)ものである。この場合、圧縮開始レベルYsは、上記の平均輝度等で与えられる主被写体輝度以上の値となるように設定する。この主被写体輝度以上の値となる圧縮開始レベルYsを設定する方法としては、例えば、主被写体輝度の値を所定数倍した値を圧縮開始レベルYsとしてもよい。この所定数倍の具体的な値(倍率)は、例えば主被写体が人の顔となるような場合には、ガンマ補正を行うと適正な明るさが得られるレベルとなる2〜3倍程度、或いは主被写体が風景となるような場合には2倍程度としてもよい。
但し、倍率はこれらに限定されず、任意な値が採用可能である。また、この倍率は、予め想定した被写体に応じて算出された1つの固定値として設定してもよいし、被写体に応じてその都度、異なるものを設定してもよい。この場合、例えば、ユーザによる操作部10からの指示入力に基づいて複数の固定値から選択されたものを設定してもよいし、上記主被写体輝度取得部61において測光結果から求めた主被写体輝度の値に応じて複数の固定値から自動的に選択されたものを設定してもよいし、また、当該測光結果や撮影倍率(焦点距離)から求められる撮影モード(例えば「ポートレート(人物)」モードや「風景」モード)により同定された主被写体の種類に応じて設定してもよい。また、特に人の顔を撮影する場合においては、特開平7−128031や特許第3557659号等の方法により検出した顔領域の最高輝度を圧縮開始レベルYsとしてもよい。いずれにしても、圧縮開始レベルYsは、主被写体(被写体)の種別や輝度情報に応じて適宜設定し、且つ主被写体輝度レベル(又はこの直近レベル)ではなく、主被写体輝度から所定値高いレベルに設定することが好ましく、これにより、各種被写体の違いに拘わらず、DR圧縮による主被写体への影響をより確実に防ぐことが可能となる。
また、主被写体輝度以上の値となる圧縮開始レベルYsを設定する方法としては、上述したものに限定されず、例えば、主被写体及び/又は周辺被写体の輝度情報に基づく所定の輝度ヒストグラムを算出し、主被写体輝度以上の領域における所定レベル、例えば度数の少ない輝度値(輝度レベル)を圧縮開始レベルYsとして設定してもよい。具体的には、輝度ヒストグラム分布が例えば所謂「山」の形状をしており、この山の頂点付近が主被写体輝度であるとすると、この輝度ヒストグラムにおける主被写体輝度以上の度数が小さくなっている山裾の位置辺りを圧縮開始レベルとするように設定する。このように度数の少ない輝度値を圧縮開始レベルYsとして圧縮を行うことにより(輝度ヒストグラムにおける度数の大きな部分に対する圧縮を回避することができるため)、階調特性の変化を目立たなくすることができる。なお、この輝度ヒストグラムに基づく圧縮開始レベルYsの設定は、撮像センサ3によって撮影画像が得られる都度行われてもよい。
また、撮像センサが本実施形態に示すようにリニアログセンサである場合、圧縮開始レベルYsを、例えばYs=Yth*P(P;1より小さい所定の倍数値)として求めるなどして、変曲点レベルYthと連動させた値を設定してもよい。これは、変曲点レベルYthが、デジタルカメラ1による自動露出制御(AE制御)が行われる段階で、つまりここでの覆い焼き処理が行われる前段階で、主被写体輝度レベルよりも大きな値に設定されていることによる。なお、上記AE制御は、画像処理部6において撮影画像から求めたAE制御用の評価値(AE評価値)を用いて行われる。上記いずれにしても、要は、主被写体輝度がDR圧縮されて主被写体の階調がつぶれてしまわないようなレベルに圧縮開始レベルYsが設定されればよい。
照明成分圧縮部65は、照明成分抽出部63によって画像Itから抽出された照明成分Lに対するDR圧縮を行うものである。照明成分圧縮部65によるこのDR圧縮によって、符号310に示す照明成分Lは符号320に示す照明成分L’となる。この照明成分L’は、以下の(6)式で与えられる。
L’=exp(log(L)*c)*n ・・・(6)
但し、「c」はDR圧縮率、「n」は正規化項である。
図3に示すように、当該照明成分のDR圧縮によって、0(ゼロ)〜Ymax(リニア特性最大値)のダイナミックレンジを有する照明成分画像は、0(ゼロ)〜Omaxのダイナミックレンジ(撮像ダイナミックレンジ)に収まるようにDR圧縮される。このOmaxは所定の画像出力系の出力最大値(撮像センサ3の出力最大値又は最大画素値であってもよい)であり、例えば8ビット画像において「255」の階調値をとる。上記(6)式に示すDR圧縮後の照明成分を示す関数L’は、圧縮開始点S(Xs、Ys)と、出力最大値Omax(或いは最大入力輝度Xmax)における符号306に示す圧縮レベル点M’(Xmax、Omax)との2点を通過するため、これら点S及びM’の座標値をそれぞれ代入して得られる連立方程式から、(6)式における当該2つの未知数c、nを算出することができる。なお、ここでのDR圧縮において、圧縮パラメータ“c”に加え、パラメータ“n”を導入するのは、例えば撮像センサ3の出力画像(撮影画像)が0〜255階調のダイナミックレンジ(8ビット画像)を有しており、DR圧縮後の照明成分L’が例えば0〜100の階調となる場合には、これを0〜255の階調に合わせるべく「n」の値を例えば2.5とすることで階調値全体を2.5倍するといった調整(照明成分L’の正規化)を可能にするためである。
なお、照明成分Lに対するDR圧縮において圧縮開始点Sを設定するのは、上述したように主被写体輝度がDR圧縮されないようにするためであり、したがって、照明成分圧縮部65は、照明成分Lに対するDR圧縮において圧縮特性307を有する圧縮特性320を用いるものの、照明成分Lが圧縮開始レベルYs未満の領域では、当該圧縮特性320により得られる照明成分L’を出力値として用いずに、元画像Iを出力値とする処理を行う。
反射率成分算出部66は、画像Itから反射率成分Rを算出(抽出)するものである。この反射率成分Rは、上記照明成分Lを用いて以下の(7)式によって算出される。
R=It/L ・・・(7)(上記(4)式から導出)
画像生成部67は、上記照明成分圧縮部65によって求めた照明成分L’と、反射率成分算出部66によって求めた反射率成分Rとから、以下の(8)式によって、元画像Iに対する新たな画像I’(覆い焼き処理後の画像I’)を生成するものである。
I’=L’*R ・・・(8)
図3においては、符号320に示す照明成分L’全体に対して反射率成分Rを掛け合わすことで画像I’を得る。
図4は、第1の実施形態におけるデジタルカメラ1による覆い焼き処理に関する動作の一例を示すフローチャートである。先ず特性変換部62によってリニア特性への特性統一処理が行われて画像Itが得られる(ステップS1)。次に、照明成分抽出部63によって、エッジ維持フィルタ(非線形フィルタ)処理に基づいて画像Itから照明成分Lが抽出される。但し、この照明成分の抽出処理は画像Itの全画素に対し同時に行われる(ステップS2)。そして、圧縮開始点設定部64に圧縮開始レベルYsが設定されるとともに、照明成分圧縮部65によって、照明成分Lが当該設定された圧縮開始レベルYs以上であると判別された場合には(ステップS3のYES)、反射率成分算出部66によって反射率成分Rが算出され(ステップS4)、照明成分圧縮部65によって、上記照明成分Lが圧縮開始点S(圧縮開始レベルYs)及び圧縮レベル点M’の情報を基にDR圧縮されて照明成分L’が得られ(ステップS5)、このステップS4、5で求められた反射率成分R及び照明成分L’とから画像I’が生成されて出力される(ステップS6)。上記ステップS3において、照明成分Lが圧縮開始レベルYs未満であると判別された場合には(ステップS3のNO)、元画像Iが選択されて出力される(ステップS7)。但し、ステップS3〜S7の動作は、照明成分Lの画素毎に(1つの画素に対して)順次実行される。このようにしてステップS3〜S7の処理が全画素に対して完了すれば(ステップS8のYES)、フロー終了となる。全画素に対して完了していなければ(ステップS8のNO)、ステップS3に戻って、全画素が完了するまで当該ステップS3〜S7の各処理が繰り返される。
(実施形態2)
ところで、上記第1の実施形態におけるデジタルカメラ1は、照明成分Lの抽出に際してエッジ維持フィルタを用いているが、このエッジ維持フィルタによる照明成分抽出処理は時間がかかることから、第2の実施形態におけるデジタルカメラ1aでは、照明成分抽出前に仮の照明成分画像(仮照明画像という)を求めておき、この仮照明画像に基づいて覆い焼き処理を行う手法をとる。この場合の覆い焼き処理について以下に説明する。
図5は、デジタルカメラ1aにおける画像処理部6aの各機能を説明するための機能ブロック図である。同図に示すように画像処理部6aは、画像処理部6に対してさらに仮照明画像作成部68及び照明成分抽出領域算出部69を備えており、また照明成分抽出部63aが異なるものとなっている(その他の機能部の構成は 第1の実施形態と同様であり、その説明を省略する)。
仮照明画像作成部68は、特性変換部62による特性統一処理により得られた画像Itに対して、ガウシアンフィルタ等の上記LPF(線形フィルタ)を用いたフィルタ処理を施して所謂ボケ画像を作成することで仮照明画像を作成するものである。このボケ画像作成に使用するLPFは、通常のデジタルカメラにはハードウェアで実装されているので、高速な処理が可能である。なお、仮照明画像として、覆い焼き処理の前段で作成されるAE用つまりAE評価値取得用の縮小画像(間引き画像)を利用してもよい。
照明成分抽出領域算出部69は、仮照明画像作成部68によって作成された仮照明画像に基づいて、撮影画像における上記エッジ維持フィルタによる照明成分の抽出処理(及びDR圧縮)を行う領域(照明成分抽出領域)を算出するものである。具体的には、照明成分抽出領域算出部69は、仮照明画像の画素値が所定の閾値th以上であるか否か判定し、閾値th以上となる画素値領域を照明成分抽出領域とする。この閾値thは圧縮開始レベルYs以下の所定レベルの値を用いる。このように閾値thを圧縮開始レベルYs以下の値とするのは、仮照明画像では暗くてDR圧縮する必要がないと判定されたとしても、エッジ維持フィルタを用いた本番の照明成分抽出処理時にはDR圧縮が必要であると判定されることがあるため、当該本番の照明成分抽出処理時においてもDR圧縮が不要、つまり真黒の画像であると判定されるだけのマージン(圧縮開始レベルYs及び閾値レベルth間の範囲309)を確保するためである。なお、閾値thは、或る1つの固定値として照明成分抽出領域算出部69に設定(記憶)されたものであってもよいし、その都度、ユーザによって選択された、或いは圧縮開始レベルYs又は主被写体輝度の算出に応じて自動的に(複数の固定値から)選択されて設定されたものであってもよい。
照明成分抽出部63aは、撮影画像から、該撮影画像の上記照明成分抽出領域における照明成分Lを、照明成分抽出部63と同様にエッジ維持フィルタを用いて抽出するものである。なお、当該照明成分抽出領域において抽出された照明成分Lは、照明成分圧縮部65によって上記と同様にDR圧縮される。
図6は、第2の実施形態におけるデジタルカメラ1aによる覆い焼き処理に関する動作の一例を示すフローチャートである。先ず特性変換部62によってリニア特性への特性統一処理が行われて画像Itが得られる(ステップS21)。次に、仮照明画像作成部68によって、LPF(線形フィルタ)処理に基づいて仮照明画像が作成され(ステップS22)、照明成分抽出領域算出部69によって、当該仮照明画像及び閾値th情報に基づいて、撮影画像における上記エッジ維持フィルタ処理を行う照明成分抽出領域が算出される(ステップS23)。次に、照明成分抽出部63によって、画像Itの照明成分抽出領域における全画素に対する照明成分Lの抽出が行われる(ステップS24)。そして、圧縮開始点設定部64に、圧縮開始レベルYs(圧縮開始点S)が設定されるとともに、照明成分圧縮部65によって、照明成分Lが当該設定された圧縮開始レベルYs以上であると判別された場合には(ステップS25のYES)、反射率成分算出部66によって反射率成分Rが算出され(ステップS26)、照明成分圧縮部65によって、上記照明成分Lが圧縮開始点S(圧縮開始レベルYs)及び圧縮レベル点M’の情報を基にDR圧縮されて照明成分L’が得られ(ステップS27)、このステップS26、27で求められた反射率成分R及び照明成分L’とから画像I’が生成されて出力される(ステップS28)。上記ステップS25において、照明成分Lが圧縮開始レベルYs未満であると判別された場合には(ステップS25のNO)、元画像Iが選択されて出力される(ステップS29)。但し、ステップS25〜S29の動作は、画素毎に(1つの画素に対して)順次実行される。このようにしてステップS25〜S29の処理が照明成分抽出領域の全画素に対して完了すれば(ステップS30のYES)、フロー終了となる。全画素に対して完了していなければ(ステップS30のNO)、ステップS25に戻って、全画素が完了するまで当該ステップS25〜S29の各処理が繰り返される。
以上のように、第1及び第2の実施形態に係る撮像装置(デジタルカメラ1、1a)によれば、撮像センサ3によって被写体光(光像)が撮像され、照明成分抽出部63(63a)(第1成分抽出手段)によって撮像センサ3による撮影画像(元画像I又は画像It)から所定周波数の照明成分L(第1成分)が抽出され、反射率成分算出部66(第2成分抽出手段)によって撮影画像から照明成分Lより周波数の高い反射率成分R(第2成分)が算出(抽出)される。そして、圧縮開始点設定部64によって照明成分Lに対する所定の圧縮開始レベルYs(レベル値)が設定され、照明成分圧縮部65によって、照明成分Lにおけるこの設定された圧縮開始レベルYs以上の領域での照明成分Lのダイナミックレンジが圧縮され(照明成分に対するDR圧縮が行われ)、このダイナミックレンジが圧縮された照明成分L’(圧縮照明成分;圧縮第1成分)と反射率成分Rとから、画像生成部67によって新たな画像(画像I’)が生成される。これにより、照明成分Lに対する或る圧縮開始レベルYsを設定して、この設定した圧縮開始レベルYsに応じて照明成分LのDR圧縮領域を決めることが可能となり、例えば圧縮開始レベルYsを主被写体輝度以上の値とすることで、覆い焼き処理において、主被写体の照明成分LをDR圧縮することなく主被写体のコントラスト低下を防止できる。また、例えば圧縮開始レベルYs未満の照明成分Lに対してはDR圧縮を行わない(例えば圧縮開始レベルYs未満では元画像Iを選択する)といった処理が可能となり、当該覆い焼き処理における処理時間の短縮を図ることができる。なお、このように、覆い焼き処理後の画像I’の画素値が元画像Iの画素値を上回らないようにすることができるため、S/N比が悪化しない覆い焼き処理が可能となる。
また、圧縮開始点設定部64によって、主被写体の所定輝度値を示す主被写体輝度以上の値が圧縮開始レベルYsとして設定されるので、覆い焼き処理において、主被写体輝度以上の値として設定された圧縮開始レベルYs以上の領域に対して謂わば選択的にDR圧縮を行うことが可能となり、主被写体の照明成分LがDR圧縮されて主被写体のコントラストが低下するといったことを確実に防止することができる。
また、圧縮開始点設定部64によって、主被写体に応じた圧縮開始レベルYsが設定されるので、主被写体(被写体)に応じた好適な覆い焼き処理が容易に行えるようになる。すなわち、主被写体の照明成分LがDR圧縮されないようにする覆い焼き処理において、その覆い焼き処理の自由度が高くなる。
また、圧縮開始点設定部64によって、所定の輝度ヒストグラムにおける度数の小さい輝度値が圧縮開始レベルYsとして設定されるので、輝度ヒストグラムにおける度数の大きな部分に対する圧縮を回避することができ、覆い焼き処理における階調特性の変化を目立たなくすることができる。
また、撮像センサ3が線形特性と対数特性とからなる光電変換特性を有する撮像センサとされ、圧縮開始点設定部64によって変曲点に応じて圧縮開始レベルYsが設定されるので、当該撮像センサ3(リニアログセンサ)に対する圧縮開始レベルYsの設定を容易に行うことができる。
また、照明成分圧縮部65によって、照明成分に対するDR圧縮用の圧縮パラメータ(DR圧縮率c)が、圧縮開始レベルYsと撮像センサ3の撮像ダイナミックレンジ(図3に示す0〜Omaxのダイナミックレンジ)との情報に基づいて決定されるので、圧縮開始レベルYsの情報に基づいて主被写体の照明成分LのDR圧縮がなされないようにするとともに、撮像ダイナミックレンジの情報に基づいて例えばDR圧縮後の照明成分L’が当該撮像ダイナミックレンジに収まるような圧縮パラメータ(第1圧縮パラメータ)を設定することができ、ひいては主被写体のコントラスト低下が防止され且つ広ダイナミックレンジ化が図られた、より高画質な画像I’を得ることができる。
また、照明成分圧縮部65によって、DR圧縮後の照明成分L’を示す特性関数である第1圧縮特性(符号320の照明成分L’に示す関数曲線参照)が、少なくとも圧縮開始レベルYsに関する座標点すなわち圧縮開始点S(Xs、Ys)と撮像センサ3の撮像ダイナミックレンジにおける最大出力値の座標点すなわち圧縮レベル点M’(Xmax、Omax)との2点を通る条件に基づいて第1圧縮パラメータが算出されるので、圧縮開始点S、圧縮レベル点M’という2点を通る関数の解を求めるという簡易な方法で第1圧縮パラメータを算出することができ、ひいては覆い焼き処理の高速化を図ることができる。
また、照明成分Lの抽出処理前に、仮照明画像作成部68によって撮影画像(元画像I又は画像It)から仮照明画像(評価用画像)が作成され、照明成分抽出領域算出部69によってこの仮照明画像に基づいて照明成分抽出領域が設定され、照明成分抽出部63aによって、撮影画像から当該照明成分抽出領域における照明成分Lが抽出されるので、照明成分抽出領域を例えば圧縮開始レベルYs以上の領域となるように設定することで、覆い焼き処理において、先ず照明成分全体に対する照明成分Lの抽出処理を行った後に、主被写体の照明成分LがDR圧縮されたものとしないよう圧縮開始レベルYs未満の領域は元画像Iを選択するといった動作を行うことなく(この場合、圧縮開始レベルYs未満の領域に対し、一般に多くの処理時間を要する照明成分Lの抽出処理が行われる分だけ処理時間が無駄になる)、この圧縮開始レベルYs以上の領域に対してのみ照明成分Lの抽出処理(及び抽出した照明成分LのDR圧縮)を行うことが可能となり、覆い焼き処理の時間を短縮することができる。
また、仮照明画像作成部68によって、撮影画像に対する線形フィルタ(LPF)によるフィルタ処理に基づき仮照明画像が作成されるので、仮照明画像を、一般に例えばエッジ維持フィルタ等の非線形フィルタと比べて高速なフィルタ処理が可能な線形フィルタを用いて、容易に且つ短時間に作成することができる。
また、照明成分抽出領域算出部69によって、圧縮開始レベルYs以下の所定の閾値th以上の領域が照明成分抽出領域として設定されるので、照明成分抽出領域設定時と本番の照明成分抽出時とにおける、DR圧縮の要否判定の誤差を防止するための例えば範囲309に示すマージン(圧縮開始レベルYsと閾値thとの差値)を有して明成分抽出領域を設定することができ、当該仮照明画像を用いた覆い焼き処理をより正確に行うことが可能となる。
また、第1及び第2の実施形態に係る撮像装置(デジタルカメラ1、1a)に適用され得る画像処理方法によれば、第1の工程において、被写体光が撮像センサ3によって撮像され、第2の工程において、撮像センサ3による撮影画像(元画像I又は画像It)から照明成分抽出部63(63a)によって所定周波数の照明成分Lが抽出され、第3の工程において、撮影画像から反射率成分算出部66によって照明成分Lより周波数の高い反射率成分Rが算出(抽出)される。そして、第4の工程において、照明成分抽出部63(63a)により抽出された照明成分Lのダイナミックレンジが照明成分圧縮部65によって圧縮され、第5の工程において、照明成分圧縮部65により照明成分Lのダイナミックレンジが圧縮されてなる照明成分L’(圧縮照明成分)と反射率成分算出部66により算出された反射率成分Rとから、画像生成部67によって新たな画像(画像I’)が生成され、また、第6の工程において、照明成分Lに対する所定の圧縮開始レベルYsが圧縮開始点設定部64によって設定される。そして、上記第4の工程は、照明成分Lにおける圧縮開始レベルYs以上の領域のダイナミックレンジを照明成分圧縮部65によって圧縮する工程とされる。
このような第1〜第6の工程を有する画像処理方法によれば、照明成分Lに対する圧縮開始レベルYsを設定し、該設定した圧縮開始レベルYsに応じて照明成分LのDR圧縮領域を決めることが可能となり、例えばこの圧縮開始レベルYsを主被写体輝度以上の値とすることで、覆い焼き処理において、主被写体の照明成分LをDR圧縮することなく主被写体のコントラスト低下を防止できる。また、例えば圧縮開始レベルYs未満の照明成分Lに対してはDR圧縮を行わない(例えば圧縮開始レベルYs未満では元画像Iを選択する)といった処理が可能となり、当該覆い焼き処理における処理時間の短縮を図ることができる。なお、このように、覆い焼き処理後の画像I’の画素値が元画像Iの画素値を上回らないようにすることができるため、S/N比が悪化しない覆い焼き処理が可能となる。
さらに、上記第6の工程において、圧縮開始点設定部64によって主被写体の所定輝度値を示す主被写体輝度以上の値が圧縮開始レベルYsとして設定されるので、覆い焼き処理において、主被写体輝度以上の値として設定された圧縮開始レベルYs以上の領域に対して謂わば選択的にDR圧縮を行うことが可能となり、主被写体の照明成分LがDR圧縮されて主被写体のコントラストが低下するといったことを確実に防止することができる。
なお、本発明は、以下の変形態様をとることができる。
(A)上記覆い焼き処理において扱われる撮影画像(元画像)は、上記線形/対数画像でなくともよく、例えば、一般的なリニアセンサによる、異なるシャッタスピードや絞り値で撮影して得られた複数枚の画像から作成した広ダイナミックレンジ画像であってもよいし、ニー処理された画像(明るい画像分部(高輝度領域)にだけ所定のゲインをかけて圧縮した画像)であってもよい。
(B)上記第1の実施形態において、照明成分L全体をDR圧縮した後、圧縮開始レベルYs未満は元画像Iを用いるという方法でなくともよく、例えば当該照明成分Lに対するDR圧縮を、圧縮開始レベルYs以上の照明成分Lに対してのみ行い(圧縮開始レベルYs未満の照明成分Lに対してはDR圧縮を行わず)、圧縮開始レベルYs未満においては、元画像I(符号308に示す範囲)をそのまま出力値とする方法であってもよい。
(C)上記実施形態1、2においては、撮影画像に対する覆い焼き処理(DR圧縮処理)をデジタルカメラ1(1a)内(画像処理部6、6a)で行う構成としているが、これに限らず、デジタルカメラ1外の所定の処理部において実行する構成としてもよい。具体的には、例えばUSB等を用いてデジタルカメラ1(1a)と直接接続(有線)又は無線LAN等によるネットワーク接続がなされた、或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成されたユーザーインターフェイスを備える所定のホスト(例えばPC(Personal Computer)やPDA(Personal Digital Assistant)において当該覆い焼き処理を行う構成としてもよい。
(D)上記実施形態1、2においては、覆い焼き処理方法として反射率成分(照明成分)を用いる方法を採用しているが、高周波成分(低周波成分)を用いる方法であってもよい。一般的に、「反射率成分」は、画像を「照明成分」で除算して得られるものであり、「高周波成分」は、画像から「低周波成分」を減算して得られるものである。すなわち、上記反射率成分を用いる方法では、元画像Iから照明成分Lを求めるとともに、この照明成分Lを用いて反射率成分R(=I/L)を求めて、この反射率成分Rと、照明成分LをDR圧縮してなる照明成分L’との積算を行うことで出力画像(画像I’)を求めている。これに対し、高周波成分を用いる方法では、元画像Iから低周波成分(これをベースBとする)を求めるとともに、この低周波成分を用いて、元画像Iから低周波成分(B)を減算することで高周波成分(ディテールDとする)を求めて(すなわち、D=I−B)、この高周波成分(D)と、低周波成分(B)をDR圧縮してなる低周波成分L’(上記照明成分L’と同じ記号L’で表現する)とを加算することで、出力画像(画像I’;上記画像I’と同じ記号I’で表現する)を求める。
上記「照明成分」と「低周波成分」とは同じものであり(照明成分は実質的には低周波成分であり)、低周波成分は、上記照明成分と同じく、エッジ維持フィルタ(非線形フィルタ)によって撮影画像から抽出することができる。また、高周波成分を用いる場合の覆い焼き処理方法での「低周波成分」のDR圧縮は、上記各実施形態における反射率成分を用いる場合の「照明成分」のDR圧縮方法と同じ方法で行うことができる(当該各場合の両アルゴリズムとも「照明成分」及び「低周波成分」のDR圧縮に同じ方法が使える)。これらのことから、上記実施形態1、2における「反射率成分」を「高周波成分」に、「照明成分」を「低周波成分」にそのまま置き換えて、すなわち上記(7)式を以下の(7’)式に、(8)式を以下の(8’)式に置き換えて(制御部8や画像処理部6、6aの各演算機能部での演算を照明成分及び反射率成分に対するものからそれぞれ低周波成分及び高周波成分に対するものに置き換えて)、当該高周波成分(低周波成分)を用いる方法での覆い焼き処理を上記実施形態1、2に適用することができ、反射率成分(照明成分)を用いる場合と同じ効果を得ることができる。低周波成分は、上記撮影画像からエッジ維持フィルタによって抽出されるので、撮影画像からの低周波成分の抽出を精度良く行うことができる。なお、このことから、反射率成分は、照明成分よりも周波数の高い反射率成分と表現することができる。ただし、実際には、照明成分の一部が反射率成分より周波数が高くなることが、この場合も含めて、反射率成分は照明成分よりも周波数が高いと表現するものとする。
R=It−L ・・・(7’)
但し、記号Rは上記高周波成分を、記号Lは上記低周波成分を示す。
I’=L’+R・・・(8’)
但し、記号Rは上記高周波成分を、記号L’は上記DR圧縮された低周波成分を示す。
(E)第1の実施形態における画像処理により、図8に示すように、上記図3における符号308に示す範囲の特性(元画像Iの照明成分L)と圧縮特性320(圧縮照明成分L’)とからなる照明成分の圧縮特性501が得られるが、特に、画像のダイナミックレンジが広い場合には、圧縮開始点Sを境にして画質が急激に変化するため、画像に擬似輪郭などの不具合が発生するという問題が生じる。そこで、図9に示すように、上記符号310に示す照明成分L(図3参照)を圧縮特性Y0及び圧縮特性Y1となるようにDR圧縮する構成としてもよい。実際の圧縮処理においては、照明成分圧縮部65は以下の(9)、(10)式を含む演算式に基づく処理を行い、圧縮開始点Sを境として照明成分Lが圧縮開始レベルYs以上の領域では圧縮特性Y0となり、圧縮開始レベルYs未満の領域では圧縮特性Y1となるようにDR圧縮を行う。
if(L>Ys)
L’=exp(log(L)*c0)*n0 ・・・(9)
else
L’=exp(log(L)*c1)*n1 ・・・(10)
但し、「c0、c1」及び「n0、n1」は、上記(6)式の場合と同様それぞれDR圧縮率及び正規化項を示す。
照明成分圧縮部65は、圧縮特性Y0の圧縮パラメータ(上記第1圧縮パラメータ)すなわち上記(9)式のc0、n0は、圧縮開始点S(Xs、Ys)及び圧縮レベル点M0(Xmax、Omax)の2点を通る条件に基づいて算出し、圧縮特性Y1の圧縮パラメータ(これを第2圧縮パラメータとする)すなわち上記(10)式のc1、n1は、圧縮開始点S(Xs、Ys)及び圧縮レベル点M1(Xm1、Omax)の2点を通る条件に基づいて算出する。但し、(9)式に示す照明成分L’(圧縮特性Y0)は、(6)式で表される上記符号320に示す照明成分L’(図3参照)と同じものであり、圧縮レベル点M0は上記符号306に示す圧縮レベル点M’と同じ点である。また、圧縮レベル点M1のXm1は、最大入力輝度Xmax以下の値であり、且つ例えば所定のN(自然数)について、Xm1=Xmax/Nによって与えられる値である。このように圧縮開始点Sを境として圧縮特性Y0、Y1を求めるようにすることで、符号511で示す部分の圧縮特性Y0(圧縮照明成分)と符号512で示す特性(元画像Iの照明成分)との差違よりも、当該圧縮特性511と符号513で示す部分の圧縮特性Y1との差違の方が小さくなるため、圧縮開始レベルYs付近での圧縮特性が急激に変化することなく画質の変化を小さくすることができ、撮影画像における(被写体中での)輝度変化を緩和することが可能となる。この場合、圧縮開始レベルYs未満の照明成分の領域では、S/N比の劣化を抑えた覆い焼き処理が可能となる。
なお、上述のことは、圧縮特性Y1が当該圧縮開始点Sと圧縮レベル点M1とを通る特性とされるため、圧縮特性Y0に対する、圧縮開始レベルYs付近での画質(各圧縮特性間の)変化を小さくすることが可能な圧縮特性Y1を容易に求めることができるとも言える。但し、圧縮特性Y1は必ずしも圧縮レベル点M1を通らなくてもよく、要は、図9に示すように、例えば圧縮開始レベルYs以上の領域において圧縮特性のグラフの傾きが圧縮特性Y0よりも大きく、且つ、元画像Iの照明成分である線形特性514よりも小さい圧縮特性Y1が得られるような、圧縮開始点Sと少なくともその他1点を通ればよい。
(F)上記変形態様(E)における図8で説明したように、画像のダイナミックレンジが広い場合には、圧縮開始点Sを境にして画質が急激に変化するため、画像に擬似輪郭などの不具合が発生する問題が生じるが、本変形態様における画像処理を行うことでこの問題を回避するようにしてもよい。すなわち、照明成分圧縮部65によって以下の処理ステップA〜Cに示す処理を行う構成としてもよい。
(ステップA)LUTの作成処理
(ステップB)ステップAで作成したLUTの変更処理
(ステップC)ステップBで変更したLUTを用いた照明成分のDR圧縮処理
これらステップA〜Cの具体的な処理方法は以下の通りである。
<ステップAでの処理>
図8に示す圧縮特性501に対応する以下の(11)式に示す演算処理によって、Xmax入力、Omax出力のLUTつまり0〜Xmaxの範囲を入力値、該入力値に対する0〜Omaxの範囲を出力値とする、入出値が記述されたLUTを作成する。このLUTを第1LUTとする。
for(i=0〜Xmax){
if(i<Ys)
LUT(i)=i
else
LUT(i)=exp(log(L)*c)*n
} ・・・(11)
但し、「Ys」は上記圧縮開始レベル、「c」、「n」は上記(6)式において算出される値である。
<ステップBでの処理>
ステップAで作成した第1LUTを以下の(12)式に示す演算処理によって新たな第2LUTに変更する。この場合、LUTの各入出値に対して所定の範囲wにおける移動平均を求めていく。
<ステップCでの処理>
上記図8の圧縮特性501に対応する照明成分L、L’を合わせてなる照明成分を照明成分L1と表すものとすると、ステップBで変更してなる第2LUTを用いて、照明成分L1に対する以下の(13)式に示すLUT演算によって新たな照明成分L2を算出する。
L2=LUT(L1) ・・・(13)
以上、ステップA〜Cの処理によって、図10に示すように圧縮特性501(照明成分L1)が照明成分L2に示す圧縮特性502に変更される。このように、圧縮開始点Sを境にして(圧縮開始レベルYs付近での)圧縮特性が急激に変化することなく線形特性と対数特性とが所謂滑らかに接続された圧縮特性に修正されるため、この場合も圧縮開始レベルYs付近での画質(圧縮特性)の変化を小さくすることができ、撮影画像における輝度変化を緩和することが可能となる。この場合、レベル値未満の照明成分の領域では、S/N比の劣化を抑えた覆い焼き処理が可能となる。なお、当該異なる圧縮特性(線形特性及び対数特性)間の該特性の切り替わりが急激でない滑らかな圧縮特性に修正する処理を「平滑処理」と表現する。この平滑処理は、上述した移動平均処理という簡易な処理によって実現されるので、ひいては圧縮開始レベル付近での輝度変化の緩和を容易に且つ短時間に行うことができる。本変形態様(E)は、第1及び第2の実施形態に対して適用可能である。
(F)線形/対数画像の高輝度領域におけるコントラストを向上させるためには、上記圧縮開始レベルYsはより低く設定することが好ましい。しかしながら、圧縮開始レベルYsを低くしてこれが主被写体輝度(被写体輝度)まで達すると、上記第1の実施形態における圧縮開始レベルYsの設定について説明したように、主被写体輝度がDR圧縮されて主被写体の階調がつぶれるすなわち主被写体のコントラストが低下してしまう。ところで、主被写体の反射率(反射率成分R)が高い場合には、圧縮処理を行ったとしても主被写体のコントラスト低下が目立たない。そこで、このことを利用して、反射率が高い場合には圧縮開始レベルYs(レベル値)を低く設定し、反射率が低い場合には上述のように主被写体輝度がDR圧縮されて主被写体のコントラストが低下しないレベルに圧縮開始レベルYsを設定するといったように、主被写体の反射率の高低(大小)に応じて圧縮開始レベルを設定する構成としてもよい。
具体的には、反射率成分算出部66により主被写体領域の反射率Rsub(反射率成分)を算出し(ステップa)、該算出した反射率Rsubに基づいて、圧縮開始点設定部64により、以下の(14)式に示す演算処理によって圧縮開始レベルYsを算出する(ステップb)。
if(Rsub<Rθ)
then
Ys=主被写体輝度の最大値
else
Ys=主被写体輝度の平均値 ・・・(14)
但し、「Rθ」は、反射率Rsubが高い値であるか否かの判定を行うための所定の閾値である。この閾値Rθは例えば固定値として圧縮開始点設定部64に記憶されている。また、上記主被写体輝度の最大値は例えば図11(a)に示す被写体輝度範囲(主被写体領域)における最大輝度値であり、上記主被写体輝度の平均値は例えば図11(b)に示す被写体輝度範囲における輝度値を平均化した平均輝度値である。反射率Rsubが低い場合には、圧縮開始レベルYsが例えば最大輝度値として高く設定され、反射率Rsubが高い場合には、圧縮開始レベルYsが例えば平均輝度値として、上記反射率Rsubが低い場合の圧縮開始レベルYsよりも低く設定される。
このように、主被写体の反射率が高い場合には、圧縮開始レベルを下げることができるため、高輝度領域におけるコントラストが向上し、ひいては画像全体のコントラストが向上する。主被写体の反射率(又は後述の空間周波数)が低い場合には、圧縮開始レベルを主被写体領域以上の高いレベルにすることができるため、主被写体のコントラスト低下を防止できる。以上のように、圧縮開始点設定部64により、主被写体の反射率に応じた圧縮開始レベルが設定される構成であるので、当該反射率が高い場合には圧縮開始レベルを低く設定するといったように、主被写体の反射率を考慮したより自由度の高い圧縮開始レベル設定が可能となる。
なお、本変形態様では圧縮開始レベルYsを、反射率Rsubが閾値Rθより小さいか否かによって最大輝度値か平均輝度値かの何れかに設定する構成としているが、当該閾値Rθを用いずに、反射率Rsubそのものの高低(Rsub値の大小)に対応させて圧縮開始レベルYsを設定する構成としてもよい。また、この場合も反射率Rsubを上記変形態様(D)で説明した高周波成分として扱う構成としてもよい。また、上記“反射率Rsubが低い場合”を、“空間周波数が低い場合”として扱う構成としてもよい。