JP2006173671A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】 低輝度側より高輝度側の方が低コントラストである画像に対し、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる画像処理を実現する。
【解決手段】 低輝度側より高輝度側の方が低コントラストである異なる２つ以上の光電変換特性からなる光電変換特性（線形特性領域と対数特性領域とからなる光電変換特性）を有する撮像センサ（固体撮像素子）により得られる撮影画像に対し、画像処理部によって、少なくとも、重み付け関数Ｆ（ｘ）（変換特性）に基づく画像変換により得られる画像Ｆ（Ｉ）にて表される強調係数の強調度合が、低輝度側より高輝度側の方が大きくなるような画像処理を行う。
【選択図】 図５

Description

本発明は、異なる２つ以上の特性領域からなる光電変換特性を有する撮像センサを用いた撮像装置であって、特にこの撮像センサの撮像により得られた画像に対する画質改善に関係する画像処理方法及びこの画像処理方法を適用する撮像装置に関するものである。

近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲（明るさの範囲）、すなわちダイナミックレンジを拡大させることが１つの大きなテーマとなっている。このダイナミックレンジの拡大に関し、上記撮像センサのように撮像系の広ダイナミックレンジ化が進む一方、現状では表示系（例えばディスプレイ、モニタ）の広ダイナミックレンジ化は撮像系ほど進んでおらず、たとえ入力される画像のダイナミックレンジが拡大されたとしても、表示においてその効果を充分に反映できない可能性がある。また、広いダイナミックレンジをもつ画像にはより多くの情報量が含まれることになるが、この画像を従来と同様の方法で取り扱おうとすれば、必然的にコストの増加を招いてしまう。したがって、この多くの情報量を含んだ画像データを有効に活用するためには、すなわち、広ダイナミックレンジ化が進んだ撮像系によって得られた画像を、広ダイナミックレンジ化が進んでいない表示系で（コスト増を抑えつつ）より高画質に表示させるためには、当該広ダイナミックレンジ画像における有益な情報を保持しつつ、全体のダイナミックレンジを圧縮させる必要がある。

このような背景において、例えば特許文献１では、ダイナミックレンジの圧縮（以降、ＤＲ圧縮という）を行う際、図１９に示す人間の視覚特性をモデル化した（低入力レベル側つまり低輝度側の曲線の傾きが高輝度側の同傾きよりも大きくなる特性を有した）画像変換テーブル（強調重み付けテーブル）を用い、高輝度側のコントラストを維持して大きなコントラスト増加を抑えるとともに、低輝度側のコントラストをより強調させる画像変換が行われている。これにより、ＤＲ圧縮における画像暗部のコントラストの改善が図られている。
特表２００４−５３０３６８号公報

ところで、このダイナミックレンジの拡大に関し、入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサが知られている（この撮像センサのことを「ＬＯＧセンサ」ともいう。このＬＯＧセンサから得られる線形特性領域及び対数特性領域を有した画像のことを線形／対数画像と表現する）。

上記ＬＯＧセンサは、広ダイナミックレンジ画像が得られるものの、高輝度側が対数的な光電変換特性であることから、一般的に線形特性領域と比べて対数特性領域での画像のコントラスト（諧調）が低いものとなってしまい、当該ＬＯＧセンサによる線形／対数画像に対して上記従来におけるＤＲ圧縮技術（上記従来技術においては、対数特性のない線形特性画像に対するＤＲ圧縮技術が開示されている）をそのまま適用すると、線形特性領域でのコントラストが強調され過ぎてしまい、また対数特性領域でのコントラストが大きく低下してしまうことになる。

しかしながら、上記ＤＲ圧縮技術を線形／対数画像に対して好適に適用することで、当該広ダイナミックレンジ情報を有した線形／対数画像に対し、線形特性領域でのコントラストを抑えつつ対数特性領域でのコントラストを向上させることができ、線形／対数画像の表示系における高画質化（画質改善）を図り得る可能性がある。

よって本発明は、撮像センサにより得られる線形／対数画像といった低輝度側より高輝度側の方が低コントラストである画像（高輝度側低コントラスト画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像）の高画質化（コントラスト性向上）を図ることができる撮像装置及びそれに用いる画像処理方法を提供することを目的とする。

本発明の請求項１に係る撮像装置は、異なる光電変換特性を２つ以上有する固体撮像素子と、前記固体撮像素子からの撮像信号を下記（１）式に基づいて演算処理する画像処理部とを備え、

但し、Ｐｉ（γ）：直交基底関数（０＜γ＜１）
Ｆ（Ｉ）：基画像Ｉが重み付け関数Ｆ（ｘ）により重み付け処理されて得られる画像
α_i（Ｉ）：基画像Ｉに応じて強調度合を決めるｉ毎の強調係数
β（Ｉ）：基画像Ｉに応じて強調度合を決める強調係数
ＬＰＦΩｉ［…］：空間ローパスフィルタ処理
Ωｉ：上記空間ローパスフィルタのカットオフ周波数
Ｑｉ（Ｆ（Ｉ））：Ｐｉ（γ）に対する０からＦ（Ｉ）までの積分
前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数は低輝度側より高輝度側の強調度合が大きいことを特徴とする。

上記構成によれば、固体撮像素子は、異なる光電変換特性を２つ以上有している、すなわち異なる２つ以上の光電変換特性からなる光電変換特性（例えば本実施形態における線形特性領域と対数特性領域とからなる光電変換特性）を有しており、当該異なる光電変換特性は、低輝度側より高輝度側の方が低コントラストであって、画像処理部による（１）式に基づいた演算処理において、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくなるため、低輝度側より高輝度側の方が低コントラストである画像（ここでは線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項２に係る撮像装置は、請求項１において、前記（１）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きいことを特徴とする。この構成によれば、（１）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きいため、上記強調係数としてのＦ（Ｉ）による強調度合の調整に対して、さらに当該α_i（Ｉ）、β（Ｉ）を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

請求項３に係る撮像装置は、請求項１又は２において、前記画像処理部は、下記（２）式に基づいて前記演算処理を実行するものであって、

但し、α：基画像Ｉに応じて強調度合を決める強調係数
ＬＰＦΩ［…］：空間ローパスフィルタ処理
Ω：上記空間ローパスフィルタのカットオフ周波数
前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数は低輝度側より高輝度側の強調度合が大きいことを特徴とする。

この構成によれば、低輝度側より高輝度側の方が低コントラストである２つ以上の異なる光電変換特性を有する固体撮像素子からの撮像信号に対する、画像処理部による（２）式に基づいた演算処理において、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくなるため、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項４に係る画像処理方法は、異なる光電変換特性を２つ以上有する固体撮像素子からの撮像信号を下記（３）式に基づいて画像処理部により演算処理する画像処理方法であって、

但し、Ｐｉ（γ）：直交基底関数（０＜γ＜１）
Ｆ（Ｉ）：基画像Ｉが重み付け関数Ｆ（ｘ）により重み付け処理されて得られる画像
α_i（Ｉ）：基画像Ｉに応じて強調度合を決めるｉ毎の強調係数
β（Ｉ）：基画像Ｉに応じて強調度合を決める強調係数
ＬＰＦΩｉ［…］：空間ローパスフィルタ処理
Ωｉ：上記空間ローパスフィルタのカットオフ周波数
Ｑｉ（Ｆ（Ｉ））：Ｐｉ（γ）に対する０からＦ（Ｉ）までの積分
前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数を低輝度側より高輝度側の強調度合を大きくすることを特徴とする。

上記構成によれば、異なる光電変換特性を２つ以上有している、すなわち異なる２つ以上の光電変換特性からなる光電変換特性（例えば本実施形態における線形特性領域と対数特性領域とからなる光電変換特性）を有している固体撮像素子からの撮像信号が、（３）式に基づいて画像処理部により演算処理され、当該異なる光電変換特性は、低輝度側より高輝度側の方が低コントラストであって、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくされるため、低輝度側より高輝度側の方が低コントラストである画像（ここでは線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項５に係る画像処理方法は、請求項４において、前記（３）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方を低輝度側より高輝度側の強調度合を大きくすることを特徴とする。この構成によれば、（３）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きくされるため、上記強調係数としてのＦ（Ｉ）による強調度合の調整に対して、さらに当該α_i（Ｉ）、β（Ｉ）を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

請求項６に係る画像処理方法は、請求項４又は５において、前記演算処理を下記（４）式に基づいて実行する画像処理方法であって、

但し、α：基画像Ｉに応じて強調度合を決める強調係数
ＬＰＦΩ［…］：空間ローパスフィルタ処理
Ω：上記空間ローパスフィルタのカットオフ周波数
前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数を低輝度側より高輝度側の強調度合を大きくすることを特徴とする。

この構成によれば、低輝度側より高輝度側の方が低コントラストである２つ以上の異なる光電変換特性を有する固体撮像素子からの撮像信号が、（４）式に基づいて画像処理部により演算処理され、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくされるため、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像、基画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項７に係る撮像装置は、異なる光電変換特性を２つ以上有する撮像手段と、前記撮像手段による撮像によって得られる基画像に対して所定の重み付けを行うための画像変換特性に基づき画像変換を行う画像変換手段と、前記画像変換手段による画像変換によって得られる変換画像を所定の直交基底関数に展開する展開手段と、前記展開手段による展開によって得られる基底毎の展開画像に対する所定のフィルタ処理を行うフィルタ処理手段と、前記展開画像に対する積分処理を行う積分手段と、前記積分手段による積分処理によって得られる積分画像と前記フィルタ処理手段によるフィルタ処理によって得られるフィルタ処理画像とを乗算する乗算手段と、前記乗算手段による乗算によって得られる前記基底毎の乗算画像の総和を算出する総和算出手段と、前記総和算出手段による総和算出によって得られる総和画像と前記基画像とを加算する加算手段とを備え、前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、前記画像変換手段は、前記重み付けによる強調度合が低輝度側より高輝度側の方が大きな画像変換特性に基づいて画像変換を行うことを特徴とする。

上記構成によれば、撮像手段は異なる光電変換特性を２つ以上有し、画像変換手段によって、撮像手段による撮像によって得られる基画像に対して所定の重み付けを行うための画像変換特性に基づいて画像変換が行われ、展開手段によって、画像変換手段による画像変換によって得られる変換画像が所定の直交基底関数に展開され、フィルタ処理手段によって、展開手段による展開によって得られる基底毎の展開画像に対する所定のフィルタ処理（本実施形態ではローパスフィルタ処理）が行われ、積分手段によって、展開画像に対する積分処理が行われ、乗算手段によって、積分手段による積分処理によって得られる積分画像とフィルタ処理手段によるフィルタ処理によって得られるフィルタ処理画像とが乗算され、総和算出手段によって、乗算手段による乗算によって得られる基底毎の乗算画像の総和が算出され、加算手段によって、総和算出手段による総和算出によって得られる総和画像と基画像とが加算され、そして、異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、重み付けによる強調度合が低輝度側より高輝度側の方が大きな画像変換特性に基づいて当該画像変換手段により画像変換が行われる。

このように、低輝度側より高輝度側の方が低コントラストである光電変換特性をもつ撮像手段による撮影画像（基画像）が、重み付けの強調度合が低輝度側より高輝度側の方が大きな画像変換特性に基づいて画像変換され、当該変換画像が直交基底関数に展開された展開画像に対してフィルタ処理が施されたフィルタ処理画像と、展開画像が積分処理された積分画像とが乗算されて乗算画像とされ、この乗算画像の全基底に対する総和（総和画像）が求められ、さらにこの総和画像と基画像とが加算された画像が得られることから、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項８に係る撮像装置は、請求項７において、前記総和画像及び基画像、又は乗算画像及び基画像の各画像に対して所定の強調係数を用いた重み付けを行う重み付け手段をさらに備え、前記各画像に対する強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きいことを特徴とする。この構成によれば、重み付け手段によって、総和画像及び基画像、又は乗算画像及び基画像の各画像に対して所定の強調係数を用いた重み付けが行われ、この各画像に対する強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きくされるため、上記強調係数としての変換画像による強調度合の調整に対して、さらに当該各画像に対する強調係数を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

請求項９に係る撮像装置は、請求項７又は８において、前記撮像手段は、前記異なる光電変換特性として、線形的な光電変換である線形特性と対数的な光電変換である対数特性とを有することを特徴とする。この構成によれば、撮像手段が、異なる光電変換特性として線形特性と対数特性とを有する、すなわち、撮像手段が線形特性領域と対数特性領域との（２つの）異なる特性からなる光電変換特性を有するものとされるため、当該撮像手段によって得られる画像は線形／対数画像となり、この線形／対数画像に対する、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる画像処理の適用が可能となる。

請求項１に係る撮像装置によれば、固体撮像素子は、異なる光電変換特性を２つ以上有している、すなわち異なる２つ以上の光電変換特性からなる光電変換特性（例えば本実施形態における線形特性領域と対数特性領域とからなる光電変換特性）を有しており、当該異なる光電変換特性は、低輝度側より高輝度側の方が低コントラストであって、画像処理部による（１）式に基づいた演算処理において、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくなるため、低輝度側より高輝度側の方が低コントラストである画像（ここでは線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項２に係る撮像装置によれば、（１）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きいため、上記強調係数としてのＦ（Ｉ）による強調度合の調整に対して、さらに当該α_i（Ｉ）、β（Ｉ）を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

請求項３に係る撮像装置によれば、低輝度側より高輝度側の方が低コントラストである２つ以上の異なる光電変換特性を有する固体撮像素子からの撮像信号に対する、画像処理部による（２）式に基づいた演算処理において、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくなるため、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項４に係る画像処理方法によれば、異なる光電変換特性を２つ以上有している、すなわち異なる２つ以上の光電変換特性からなる光電変換特性（例えば本実施形態における線形特性領域と対数特性領域とからなる光電変換特性）を有している固体撮像素子からの撮像信号が、（３）式に基づいて画像処理部により演算処理され、当該異なる光電変換特性は、低輝度側より高輝度側の方が低コントラストであって、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくされるため、低輝度側より高輝度側の方が低コントラストである画像（ここでは線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項５に係る画像処理方法によれば、（３）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きくされるため、上記強調係数としてのＦ（Ｉ）による強調度合の調整に対して、さらに当該α_i（Ｉ）、β（Ｉ）を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

請求項６に係る画像処理方法によれば、低輝度側より高輝度側の方が低コントラストである２つ以上の異なる光電変換特性を有する固体撮像素子からの撮像信号が、（４）式に基づいて画像処理部により演算処理され、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくされるため、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項７に係る撮像装置によれば、低輝度側より高輝度側の方が低コントラストである光電変換特性をもつ撮像手段による撮影画像（基画像）が、重み付けの強調度合が低輝度側より高輝度側の方が大きな画像変換特性に基づいて画像変換され、当該変換画像が直交基底関数に展開された展開画像に対してフィルタ処理が施されたフィルタ処理画像と、展開画像が積分処理された積分画像とが乗算されて乗算画像とされ、この乗算画像の全基底に対する総和（総和画像）が求められ、さらにこの総和画像と基画像とが加算された画像が得られることから、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

請求項８に係る撮像装置によれば、重み付け手段によって、総和画像及び基画像、又は乗算画像及び基画像の各画像に対して所定の強調係数を用いた重み付けが行われ、この各画像に対する強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きくされるため、上記強調係数としての変換画像による強調度合の調整に対して、さらに当該各画像に対する強調係数を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

請求項９に係る撮像装置によれば、撮像手段が、異なる光電変換特性として線形特性と対数特性とを有する、すなわち、撮像手段が線形特性領域と対数特性領域との（２つの）異なる特性からなる光電変換特性を有するものとされるため、当該撮像手段によって得られる画像は線形／対数画像となり、この線形／対数画像に対する、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる画像処理の適用が可能となる。

以下、図面に基づいて、本発明の実施形態につき説明する。
図１は、本実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０等を備えて構成されている。

レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系（被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック）を構成するものである。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、制御部８によりこの絞りやシャッタの駆動制御がなされる構成となっている。

撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ,Ｇ,Ｂの各成分の画像信号に光電変換して後段のアンプ４へ出力するものである。本実施形態においては、撮像センサ３として、図３に示すように、センサ入射輝度が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する対数変換型固体撮像素子が用いられる。なお、この光電変換特性の線形特性領域と対数特性領域との切り替り点（変曲点）は、撮像センサ３の各画素回路に対する所定の制御信号により任意に制御可能とされている。

具体的には撮像センサ３は、例えば、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、Ｐ型（又はＮ型）のＭＯＳＦＥＴ等を備えた対数変換回路を付加し、ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂ＣＭＯＳイメージセンサが採用される。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。

アンプ４は、撮像センサ３から出力された画像（映像）信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。なお、ＡＧＣ回路は、適正露出が得られなかった場合（例えば非常に低輝度の被写体を撮影する場合）の撮影画像のレベル不足を補償する（感度補正を行う）機能も有する。なお、ＡＧＣ回路に対するゲイン値は制御部８によって設定される。

Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

画像処理部６は、Ａ／Ｄ変換部５によるＡ／Ｄ変換により得られた画像信号に対する所定の画像処理（デジタル信号処理）を行うものである。本実施形態では、画像処理部６による画像処理においてなされる画質改善処理、つまりコントラスト改善処理（ＤＲ圧縮処理）に主たる特徴点がある。このコントラスト改善処理（ＤＲ圧縮処理）については後に詳述する。なお、画像処理部６は、所定のフィルタを用いて各画素値を補間する画素補間部やホワイトバランス調整を行うＷＢ制御部、或いは 画素データの縮小又は間引き等を行い解像度変換を行う解像度変換部、画像信号の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去するＦＰＮ補正部等を備えていてもよい（いずれも図略）。

画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６での画像処理を終えた画像データを（一時的に）保存するものである。画像メモリ７は、例えば所定フレーム分の画像データを記憶し得る容量を有したものとなっている。

制御部８は、各制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ、及び当該制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３や画像処理部６或いは操作部１０等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメータ等を算出し、これを送信することで各部の動作を制御する。制御部８は、図略のタイミング生成部（タイミングジェネレータ）や駆動部を介して、それぞれ撮像センサ３やレンズ部２（絞りやシャッタ）に対する撮像動作制御やズーム（フォーカス）駆動制御を行ったり、モニタ部９への表示制御などを行う。また、画像処理部６や画像メモリ７からの画像信号の出力制御なども行う。

モニタ部９は、撮像センサ３で撮影された画像（一旦画像メモリ７に保存されていた画像）等のモニタ表示を行うものである。モニタ部９は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）、或いは接眼部を構成する電子ビューファインダ（ＥＶＦ；Electronic View Finder）等からなる。

操作部１０は、デジタルカメラ１に対する操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、ニュー選択スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えばレリーズスイッチが押下（オン）されることで、撮像動作（撮像センサ３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ７等に記録されるといった一連の撮影動作）が実行される。

次に、上記画像処理部６の構成及び動作の詳細について以下に説明する。
図２は、画像処理部６におけるＤＲ圧縮処理（コントラスト改善処理）に関する一回路構成例を示す機能ブロック図である。図２に示すように、画像処理部６は、強調変換部６１、展開処理部６２、総和算出部６３及び重み付け加算部６４を備えて構成されている。

先ず、画像処理部６における概略的な画像データの流れを説明すると、画像処理部６に入力された入力画像６０１（これを適宜、入力画像Ｉ或いは基画像Ｉと表す。ただし、この基画像ＩはＸＹ座標をもつ２次元画像であるため入力画像Ｉ（ｘ、ｙ）又は基画像Ｉ（ｘ、ｙ）とも表される）は、符号Ａに示す回路ルート（ルートＡ）と符号Ｂに示す回路ルート（ルートＢ）とに送信される。ルートＡにおける入力画像６０１は、順に強調変換部６１、展開処理部６２、及び総和算出部６３を経由した後、重み付け加算部６４に至る。一方、ルートＢにおける入力画像Ｉ（ｘ、ｙ）は、そのまま重み付け加算部６４へ送信される。このルートＡ及びルートＢに分かれて送信された各画像データは、重み付け加算部６４を経て出力画像６０２（これを出力画像Ｉ_OUT（ｘ、ｙ）又は出力画像Ｉ_OUTと表す）として画像処理部６から例えば後段の画像メモリ７に出力される。

強調変換部６１は、所定の重み付け関数Ｆ（ｘ）に基づく画像変換テーブル（重み付けテーブル）を用いた画像変換を行い、入力画像Ｉに対する重み付け処理を行うものである。強調変換部６１は、この重み付け処理に用いる画像変換テーブルを、撮像センサ３の光電変換特性に応じて設定する。本実施形態における撮像センサ３は、上述したように、入射輝度に対して低輝度側では線形特性、高輝度側では対数特性となる光電変換特性を有している。図４は、撮像センサ３の光電変換特性の一例であり、変曲点４１をもつ線形特性領域４２と対数特性領域４３とからなる光電変換特性４０が示されている（図４の縦軸及び横軸は、それぞれ撮像センサに対する輝度レベル及び出力レベルであり、これら各レベルの最大値が「１」となるように正規化された座標値となっている）。なお、ここでは変曲点４１の出力レベルは「０．８」となっている。

この光電変換特性４０の線形特性領域４２は以下の（1-1）式で表され、
ｙ＝ａ＊ｘ ・・・（1-1）
一方、対数特性領域４３は以下の（1-2）式で表され、
ｙ＝α＊ Ｌｏｇ₁₀（ｘ）＋β（β＝１．０） ・・・（1-2）
この場合の光電変換特性に対する画像変換テーブルの変換特性Ｙは以下の図５に示すものが用いられる（上記式中の「＊」は乗算を示す。以降も同じ）。

図５は、重み付け関数Ｆ（ｘ）を有する画像変換テーブルを示している。図５には、重み付け関数Ｆ（ｘ）の一例である重み付け関数５１〜５３（後述の変換特性Ｙに相当）の３つの場合が示されている。重み付け関数５１〜５３はそれぞれ、同図の符号５４に示す上記図４における線形特性領域４２に対応する領域である低輝度領域５４と、対数特性領域４３に対応する領域である高輝度領域５５とからなる。これら重み付け関数Ｆ（ｘ）の低輝度領域５４及び高輝度領域５５は、それぞれ以下の（2-1）、（2-2）式によって表される。
低輝度領域５４ ：ＹＬｉｎ＝ｋ＊（１／ａ）＊Ｘ ・・・（2-1）
高輝度領域５５ ：ＹＬｏｇ＝ｔ＊（１０＾(Ｘ−β)／α）（β＝１．０）・・・（2-2）

この画像変換テーブルにおける変換特性Ｙ（重み付け関数Ｆ（ｘ））は、
ＹＬｉｎ＜ＹＬｏｇとなる範囲では、
Ｙ＝ＹＬｏｇ
それ以外では（ＹＬｉｎ≧ＹＬｏｇとなる範囲では）、
Ｙ＝ＹＬｉｎ
と表される。このように変換特性Ｙは、低輝度領域５４ と高輝度領域５５とで傾きが異なり、撮像センサ３の光電変換特性４０に応じた変換特性となっている。

光電変換特性４０に応じて変換特性Ｙ（重み付け関数Ｆ（ｘ））が決定されることに関し、上記重み付け関数５１は、低輝度領域５４での傾きがｋ／ａ＝１、重み付け関数５３は、同傾きがｋ／ａ＝１／２．５となる場合として示されている（勿論ｋ／ａの値はこれらだけに限らない）。ただし、図５に示すように各重み付け関数における低輝度領域５４と高輝度領域５５との切り替わり点の入力レベルｘの値は、ここでは「０．８」となっているが、この切り替わり点の位置（「０．８」）は、図４に示す変曲点４１の出力レベル「０．８」と対応するものであり、光電変換特性４０の変曲点４１位置が変化するのに応じて変化する。

画像変換テーブルは当該変換特性Ｙを有しているが、これは従来用いられる画像変換テーブル（図１９参照）の場合とは逆に、高輝度側（対数領域側）の変換特性の傾きが低輝度側（線形特性側）の傾きよりも大きなものとされており、これによって高輝度側のコントラストが強調され、かつ低輝度側のコントラストが抑えられた（又は低下された）画像（コントラスト調整画像）を得ることが可能とされている。

強調変換部６１による上記変換特性Ｙの決定にあたっては、例えば、傾きｋ／ａにおける定数「ｋ」の値を、或る固定されたものとして設定しておき、光電変換特性４０が変化することによる傾き「ａ」の変化に応じてｋ／ａの値を変化させることで、このｋ／ａの値に対応する傾きを有する変換特性Ｙを決定（選択）してもよい。また、当該固定したｋ値に対してａ値を変化させてｋ／ａを得るのではなく、光電変換特性４０の変化に応じて決まるａ値（上記（2-1）式中の（１／ａ））に対して任意の定数ｋ（定数ｔ）を設定することで、所望の傾きを有する変換特性Ｙを決定してもよい。

なお、上記図５に示す重み付け関数（変換特性Ｙ）を有する画像変換テーブルは、図４に示すような線形特性領域４２及び対数特性領域４３を有する光電変換特性、すなわち、低輝度側でより高いコントラストが得られやすい線形特性領域４２と、高輝度側でコントラストが抑えられてしまう対数特性領域４３といった２種類の特性をもつ光電変換特性に対して設定されるが、これに限らず、例えば図１６（ａ）に示すような、傾きの異なる（高輝度側における傾き（コントラスト性）が低輝度側よりも小さい）２種類の線形特性領域８１、８２（変曲点８３）からなる光電変換特性に対して設定される構成であってもよい。

また、例えば図１６（ｂ）に示すように、線形特性領域８４と線形特性領域８５と対数特性領域８６といった異なる複数種類（ここでは３種類）の特性領域からなる（複数の変曲点（ここでは変曲点８７、８８）をもつ）光電変換特性に対して、図５に示す高輝度側（高輝度領域５５）の変換特性の傾きが低輝度側（低輝度領域５４）の傾きよりも大きな変換特性をもつ画像変換テーブルを設定する構成であってもよい。

ところで、上記図４や図１６（ａ）に示す光電変換特性の画像に対応する画像変換テーブルが作成される場合、光電変換特性の１つの変曲点に対して画像変換テーブルに２箇所の切り替え点（変換特性Ｙの特性を切り替える点）は必要なく、例えば当該２箇所の切り替え点のうちの値の大きい、つまり座標値（入力レベル）が大きい方の切り替え点を採用するものとする。このことは、例えば図４の線形／対数領域（１つの変曲点）をもつ光電変換特性に対する図１７（ａ）の画像変換テーブルに示すように、変換特性を表す式、つまりＹＬｏｇ（対数式）とＹＬｉｎ（線形式）との各式が複数（２つ）の交点９１、９２をもつ場合、例えばこれら交点９１、９２のうちの値の大きな方の交点９１が、当該変換特性の切り替え点として採用されることを示している。なお、符号９３に示す座標位置は図４の光電変換特性の変曲点に対応するものとなる。また同図中、一点鎖線が並記された特性線がこの場合の全体の変換特性Ｙを示している。

ただし、上記図１６（ｂ）に示すように、変曲点が複数個（ここでは２個）存在する光電変換特性の画像に対しては、これに対応する画像変換テーブル（変換特性）においても当該切り替え点が複数個設定される（例えば上記２個の変曲点に対応して２個設定される）ものとなる。このことは同様に、例えば図１７（ｂ）に示すように、ＹＬｏｇ（対数式）並びにＹＬｉｎ１及びＹＬｉｎ２（線形式）の各式の交点のうちの交点９４、９５が、当該変換特性の切り替え点として採用されることを示している。なお、符号９６、９７に示す座標位置は、それぞれ図１６（ｂ）の光電変換特性における２つの変曲点に対応するものとなる。また同図中、一点鎖線が並記された特性線がこの場合の全体の変換特性Ｙを示している。

また、当該画像変換テーブルを用いた変換において、撮像センサの特性と人間の視覚特性とを合わせてなる変換、すなわち撮像センサから得られる変換係数と視覚特性から得られる変換係数との乗算による係数を用いた変換を行ってもよく、撮像センサに応じた変換出力を「ｚ」としたとき、Ｆ（ｚ）なる視覚特性に基づいて設定される画像変換テーブルとしてもよい。

展開処理部６２は、強調変換部６１において、基画像Ｉが重み付け関数Ｆ（ｘ）により画像変換（重み付け処理；コントラスト強調処理）されてなる強調変換画像（画像データＦ（Ｉ））を輝度領域において輝度分割（展開）し、この輝度分割した画像データに対して後述のＬＰＦ処理を施すものである。展開処理部６２は、図２に示すように、処理ブロック６２ａ…６２ｂ…６２ｃの複数の処理ブロックから構成されている。各処理ブロック６２ａ〜６２ｃは、直交関数展開部６２１、ＬＰＦ処理部６２２、積分処理部６２３、及び乗算部６２４等を備えている。

直交関数展開部６２１は、上記画像データＦ（Ｉ）を所定の直交基底関数Ｐ_i（γ）（０＜γ＜１）に展開するものである。当該展開に用いられる直交関数は、ここでは図６に示すルジャンドルの直交関数（ルジャンドル多項式）であり、実際の処理においては、直交基底関数Ｐ_i（γ）は、以下の（3-1）及び（3-2）式に示すルジャンドル直交関数の近似式（漸化式）で与えられる。すなわち、直交基底関数Ｐ_i（γ）が、ルジャンドル多項式の各基底となるＰ_i（ｘ）で近似される。
Ｐ₀（ｘ）＝１、Ｐ₁（ｘ）＝ｘ ・・・（3-1）
Ｐ_i（ｘ）＝ａ_i＊Ｐ_i-2（ｘ）＋ｂ_i＊ｘ＊Ｐ_i-1（ｘ） ・・・（3-2）
但し、ａ_i＝（ｉ−１）／ｉ、ｂ_i＝（２ｉ−１）／ｉ
図６は、上記（3-1）及び（3-2）式により画像データＦ（Ｉ）を直交基底関数Ｐ_i（ｘ）に展開したものをグラフ化したものである。ただし、図６にはＰ_i（ｘ）（ｉ＝０〜６；０次から６次まで）の場合が示されており、７次以降は図略としている。

なお、基画像Ｉに対する当該直交基底関数Ｐ_i（ｘ）への展開により得られる画像データはＰ_i（Ｉ）と示される。ただし、基画像Ｉが重み付け処理されたＦ（Ｉ）に対してこのＰ_i（ｘ）が適用されることから、実際には、画像データＰ_i（（Ｆ（Ｉ））とされるべきであるが、説明の便宜上、画像データＰ_i（Ｉ）と簡略化して表現するものとする。

また、上記展開処理部６２は、上記（3-1）、（3-2）式を用いた直交基底関数Ｐ_i（ｘ）への展開によって画像データＦ（Ｉ）の領域分割を行う（入力画像レベルの区間分割を行う）。展開処理部６２における各処理ブロック６２ａ〜６２ｃは、この直交基底関数Ｐｉ（ｘ）、すなわちＰ₁（ｘ）、Ｐ₂（ｘ）、Ｐ₃（ｘ）、…Ｐ_N（ｘ）（ｉ＝１〜Ｎ）に対応するものとして備えられている。

ＬＰＦ処理部６２２は、直交関数展開部６２１で得られた各直交基底関数Ｐ_i（ｘ）（画像データＰ_i（Ｉ））に対し、所定のＬＰＦ（ローパスフィルタ；低域通過フィルタ）を用いたＬＰＦ処理を行うものであり、画像データＰ_i（Ｉ）に対する空間的な高周波成分をカットする。ただし当該ＬＰＦ処理は、所定のカットオフ周波数（後述のΩ、Ωｉ）に基づいて行われる。具体的には、ＬＰＦ処理部６２２は、このＬＰＦ処理により、空間的な局所ヒストグラムイコライゼーションの係数を算出する。なお、このＬＰＦ処理は所定画素数毎に平均して（例えば６４画素平均）行われる。

ところで上記ヒストグラムイコライゼーション（以降、ＨＥと表す）とは、画像の濃淡のヒストグラムをとり、頻度の高い濃淡領域は拡大し、頻度の低い濃淡領域は縮小するような階調変換を行い、変換後のヒストグラムが一様となるようにする画像処理であり、このＨＥ処理は、微妙な濃淡が広い領域に亘って存在するような画像では、その部分のコントラストが高くなる反面、頻度の低い濃淡の領域のコントラストが低下するという特徴がある。

積分処理部６２３は、上述のようにルジャンドルの直交関数を用いて画像データＦ（Ｉ）を直交基底関数Ｐ_i（ｘ）へ展開し、さらに、この展開による画像データＰ_i（Ｉ）に対する積分処理（各直交基底関数Ｐ_i（ｘ）に対する０からｘまでの不定積分）を行うものである。ただし、積分処理部６２３での当該関数Ｐ_i（ｘ）への展開演算は、直交関数展開部６２１における展開演算とは別のものである。積分処理部６２３は、この積分処理によって、各直交基底関数Ｐ_i（ｘ）に対応する（各基底が表現する）各輝度領域における画像データを算出する。この積分処理によって得られる各領域の画像データは、基画像（基画像Ｉの輝度レベル）に近い画像データとなる。積分処理部６２３による上記積分処理に用いられる積分関数Ｑ_i（ｘ）は、以下の（4-1）式により近似される。
Ｑ_i（ｘ）＝（１／（２＊ｉ＋１））＊（Ｐ_i+1（ｘ）−Ｐ_i-1（ｘ））・・・（4-1）

なお、基画像Ｉに対する当該積分関数Ｑ_i（ｘ）の積分処理により得られる画像データはＱ_i（Ｉ）と示される。ただし、この場合も上記Ｐ_i（（Ｆ（Ｉ））と同様、Ｑ_i（（Ｆ（Ｉ））とされるべきところ、説明の便宜上、画像データＱ_i（Ｉ）と簡略化して表現するものとする。

乗算部６２４は、上記ＬＰＦ処理部６２２において算出された局所ヒストグラムイコライゼーションの係数と、積分処理部６２３において算出された画像データＱ_i（Ｉ）との乗算処理を行うものである。この乗算部６２４における乗算処理により得られた画像を、画像ＰＱ_i（Ｉ）と表す。

総和算出部６３は、展開処理部６２の各処理ブロック６２ａ〜６２ｃ（乗算部６２４）において算出された各画像ＰＱ_i（Ｉ）の総和（ｉ＝１からＮまで）を算出するものである。換言すれば、総和算出部６３は、展開処理部６２で一旦展開（領域分割）された各基底（直交基底関数データ）を合算して元の（サイズの）画像に合成し直すものである。この総和算出部６３による各基底の総和算出により、対数特性側のコントラストが強調され線形特性側のコントラストが抑えられた画像（コントラスト調整画像）が得られる。

重み付け加算部６４は、総和算出部６３により得られた画像（コントラスト調整画像Ｉ’と表す）と基画像Ｉとに対して、変換度合い（変換の強さ）を示す所定の定数α（強調係数αという）による重み付け加算を行うものである。具体的には、重み付け加算部６４は、乗算部６４１、６４２、及び加算部６４３を備え、乗算部６４１によりコントラスト調整画像Ｉ’に対して強調係数αを掛け合わせ（画像αＩ’と表す）、一方、乗算部６４２により基画像Ｉに対して強調係数（１−α）を掛け合わせ（画像（１−α）Ｉと表す）、加算部６４３によってこれら画像αＩ’と画像（１−α）Ｉとを加算することで当該強調係数αによる重み付けを行う。このように重み付け加算されることにより、基画像Ｉ（ｘ、ｙ）の自然な輝度情報を残しつつ、コントラストが改善された好適な出力画像Ｉ_OUT（ｘ、ｙ）が得られる。

以上のようにして、入力画像Ｉに対し、重み付け処理（強調変換）、展開処理（直交関数展開、ＬＰＦ処理及び積分処理等）、総和算出処理、及び重み付け加算処理が施され、その結果、出力画像Ｉ_OUTが得られる。これらの一連の動作は以下の（5-1）式で纏めることができる。

但し、Ｐｉ（γ）：直交基底関数（０＜γ＜１）（Ｐｉ（ｘ）で近似される）
Ｆ（Ｉ）：基画像Ｉが重み付け関数Ｆ（ｘ）により重み付け処理されて得られる画像（Ｆ（Ｉ）は、（5-1）式における強調係数を表すものであるともいえる。）
α：基画像Ｉに応じて強調度合を決める強調係数
ＬＰＦΩ［…］：空間ローパスフィルタ処理
Ω：上記空間ローパスフィルタのカットオフ周波数
Ｑｉ（Ｆ（Ｉ））：Ｐｉ（γ）（近似されたＰｉ（ｘ））に対する０からＦ（Ｉ）までの積分処理（積分関数はＱｉ（ｘ）で近似される）

ところで、上記強調係数αは、図２において示されるように、各処理ブロック６２ａ〜６２ｃでそれぞれ求められた画像ＰＱ₁（Ｉ）、ＰＱ₂（Ｉ）、…ＰＱ_N（Ｉ）を総和算出部６３で合算した後のコントラスト調整画像Ｉ’に対して、一括して（乗算部６４１において）掛け合わされているが、この強調係数αを、各処理ブロック６２ａ〜６２ｃそれぞれに対する個別の強調係数α_i（即ちα₁、α₂、…α_N）として設定しておき、これら各強調係数α_iを、総和算出部６３で合算される前段階の上記画像ＰＱ_i（Ｉ）（ｉ＝１〜Ｎ）に対してそれぞれ掛け合わせる構成としてもよい。この強調係数α_iの画像ＰＱ_i（Ｉ）に対する掛け合わせ演算は、各処理ブロック６２ａ〜６２ｃの例えば乗算部６２４において実行されてもよい。この場合、図２において乗算部６４１を削除した構成としてもよい。また、上記乗算部６４２において掛け合わされる強調係数（１−α）（具体的には画像（１−α）Ｉ）は、これに相当する後述の強調係数β（Ｉ）として別途設定される。

この構成の場合、上記（5-1）式は以下の（6-1）式で表される。

但し、α_i（Ｉ）：基画像Ｉに応じて強調度合を決めるｉ毎の強調係数
β（Ｉ）：基画像Ｉに応じて強調度合を決める強調係数
ＬＰＦΩｉ［…］：空間ローパスフィルタ処理
Ωｉ：上記空間ローパスフィルタのカットオフ周波数

なお、上記（5-1）式の場合は、（6-1）式の場合における各α_i（Ｉ）の値（各処理ブロック６２ａ〜６２ｃで用いられる強度係数の値）がいずれも同じ値となる場合であるということもできる。またこの場合も、Ｆ（Ｉ）は上記（6-1）式における強調係数を表すものとなる。

ここで、上記（6-1）式における強調係数α_i（Ｉ）、β（Ｉ）は、図７における強調係数のグラフ図に示すように、画像Ｉのレベルが（０から１へ）大きくなるほど、強調係数α_i（Ｉ）は増加し、強調係数β（Ｉ）は減少するように設定される。換言すれば、強調係数α_i（Ｉ）、β（Ｉ）は、画像Ｉに応じて変化するものであるといえる。この図７におけるα_i（Ｉ）、β（Ｉ）の特性は、以下の（7-1）、（7-2）式により示される。
低輝度領域７１：αＬｉｎ＝ｋ＊（１／ａ）＊Ｘ ・・・（7-1）
高輝度領域７２ ：αＬｏｇ＝ｔ＊（１０＾(Ｘ−β）／α）（β＝１．０）・・・（7-2）

但し、α_i（Ｉ）の特性は、
αＬｉｎ＜αＬｏｇとなる範囲では、
α_i（Ｉ）＝αＬｏｇ
それ以外では（αＬｉｎ≧ＹＬｏｇとなる範囲では）、
α_i（Ｉ）＝αＬｉｎ
と表される。
一方、β（Ｉ）＝１−α_i（Ｉ）で与えられ、α_i（Ｉ）の特性（グラフ）とは反対の特性となる（図７に示すように上下で鏡面対称な特性となる）。なお、β（Ｉ）をα_i（Ｉ）の変化に依らず別に設定してもよい。

このようにα_i（Ｉ）及びβ（Ｉ）の特性は、いずれも低輝度領域７１と高輝度領域７２とで傾きが異なり（また互いに反対の増減特性を有しており）、画像レベルつまり撮像センサ３による撮影画像が有する光電変換特性に対応したものとなっている。同図の画像レベル「０．８」の位置は、図４に示す光電変換特性４０の変曲点４１での出力レベル「０．８」に対応している。

なお、図７においても、上記図１７（ａ）での説明と同様、光電変換特性の１つの変曲点に対して、強調係数（各強調係数α_i（Ｉ）、β（Ｉ））に２箇所の切り替え点（強調係数の変化特性を切り替える点）は必要なく、この場合も例えばこの２箇所の切り替え点（特性式の交点）のうちの値の大きい方を採用するものとする。また、変曲点が複数個存在する光電変換特性の画像に対して強調係数の設定を行う場合も、上記図１７（ｂ）での説明と同様、この複数個の変曲点に対応して、強調係数における当該切り替え点が複数個設定されるものとなる。

出力画像Ｉ_OUTとしては、α_i（Ｉ）が大きな値をとるほどコントラスト強調が強くなることから、図７に示す場合、画像Ｉのレベルが小さい側、すなわち低輝度側（低輝度領域７１側）においてはα_i（Ｉ）の値が小さくコントラスト強調の度合いが小さく（抑えられ）、画像Ｉのレベルが大きい側、すなわち高輝度側（高輝度領域７２側）においてはα_i（Ｉ）の値が大きくコントラスト強調の度合いが大きなものとなっている。なお、本実施形態での強調係数の変化特性は、例えば図２５（ａ）や図２５（ｂ）に示す従来の場合の強調係数の変化特性（画像レベルの増加に、伴いα_i（Ｉ）が減少してβ（Ｉ）が増加する）と比較して、増減変化が逆の特性となっている。

なお、上記（5-1）式に対しても図７と同様の強調係数の変化特性が与えられる。この場合、図７に示す「α_i（Ｉ）」が「α」に置き換えられ、「β（Ｉ）」が「（１−α）Ｉ」に置き換えられる。

このように、強調係数α_i（Ｉ）、β（Ｉ）（又はα、１−α）を用いた補正処理が可能な構成とすることで、基画像Ｉに対して重み付け処理（強調変換）や各展開処理（ＬＰＦ処理等）が施されてなる、対数特性側のコントラストが強調され線形特性側のコントラストが抑えられたコントラスト調整画像に対し、さらに、強調係数α_i（Ｉ）、β（Ｉ）（又はα、１−α）による同コントラスト強調に関する処理が行えるようになるため、より自由度の高いかつ高精度のコントラスト改善処理を実現することが可能となる。

次に、上述で説明した図２の各処理部での画像処理について、該各処理によって得られる画像データのグラフ図を用いてより具体的に説明する。なお、従来との差違を明確にするべく、適宜、従来の場合に得られる画像データ（グラフ図）と比較しながら説明する。
図８は、本実施形態における画像処理が施される低輝度側及び高輝度側の画像データの一例であり、すなわち、本実施形態のコントラスト改善に関して注目される低輝度側と高輝度側との画像データの変化の様子を明示するべく設定した画像データであり、（ａ）は符号８０１に示す低輝度側のコントラストが低い場合の画像データ（画像データ８０１）、（ｂ）は符号８０２に示す高輝度側のコントラストが低い場合の画像データ（画像データ８０２）を示している。

ただし、符号８０３、８０４には、当該画像データ８０１、８０２に示す低輝度側及び高輝度側の画像データの変化、輝度レベル信号の“山”の形状（振幅・周期）の変化と比較するための信号データを示している（以降の図１０〜１４、図２１〜２４、図２６についても同じ）。なお、コントラスト強調処理は、この画像データ８０１と画像データ８０３と（画像データ８０２と画像データ８０４と）に示す左右の振幅の差（比）を小さくすることが目的であり、本実施形態においては、撮像センサ３が対数領域にて撮像した高輝度側の画像の振幅を強調することが目的となる。

なお、図８に示す画像データは、図２の入力画像Ｉに相当するものである。（ただし、上述した入力画像Ｉ（ｘ、ｙ）は２次元画像であるが、ここでは１次元画像として説明している。以降の図についても同じ）また、図８の縦軸は輝度レベルを、横軸は画素番号を示している（以降、図１０〜１４、図２１〜２４、図２６についても同じ）。以降の説明において適宜、図８（ａ）の画像データを画像Ｉ１、図８（ｂ）の画像データを画像Ｉ２とする。

先ず、図２において、画像Ｉ１、Ｉ２からなる入力画像Ｉが画像処理部６へ入力されるとする。この画像Ｉ１、Ｉ２に対し、強調変換部６１において、図９に示す画像変換テーブルを用いた画像変換処理、すなわち対数領域側の変換特性の傾きが線形特性側の傾きよりも大きな重み付け関数５６（＝Ｆ（ｘ））による重み付け処理が施され（この重み付け関数５６は、上記（1-1）、（1-2）式における「ａ」＝２、「α」＝０．４となる場合の一例を示している）、この結果、図１０（ａ）、（ｂ）に示す画像データが得られる。

図１０（ａ）は、図８（ａ）の低輝度側の画像データに対する重み付け処理の結果であり、上記画像データ８０１が、該画像データ８０１の振幅８０５がその振幅よりも小さい振幅８１３となるよう画像データ８１１へ変換される。この場合、図８（ａ）に示す画像データ８０３における高輝度側の輝度データ間の幅Ｌ１が、図１０（ａ）に示す画像データ８１５における高輝度側の輝度データ間の幅Ｌ１’と大きくなり（広がり）、また、同様に低輝度側の輝度データ間の幅Ｌ２が幅Ｌ２’と小さくなる（狭まる）ように変換されることが示される。さらに、当該変換は、符号Ｃ１に示す画像データ８０３の各波形の山の頂点部の形状が、画像データ８１５の符号Ｃ１’に示すように急峻な（尖った）山形状となるような変換であることが示されている。

同様に、図１０（ｂ）は、図８（ｂ）の高輝度側の画像データに対する重み付け処理の結果であり、画像データ８０２の振幅８０６がその振幅よりも大きな振幅８１４となるよう画像データ８１２へ変換される。この場合、図８（ｂ）に示す画像データ８０４における高輝度側及び低輝度側それぞれの輝度データ間の幅Ｌ３及び幅Ｌ４が、図１０（ｂ）に示す画像データ８１６での間隔の広まった幅Ｌ３’及び間隔の狭まった幅Ｌ４’となるような変換がなされる。なお、この場合も符号Ｃ２に示す画像データ８０４の各波形の山の頂点部の形状が、画像データ８１６の符号Ｃ２’に示すように急峻な（尖った）山形状となるような変換であることが示されている。強調変換部６１では、このように重み付けによる画像変換（強度変換）が行われ、高輝度側のコントラストが強調され、低輝度側のコントラストが抑えられた画像データＦ（Ｉ）が得られる。

ところで、図８（ａ）、（ｂ）に示す低輝度側及び高輝度側の画像データに対し、上記従来における図１９に示す画像変換テーブル、ここでは、図２０に示すΔ＝０．０３の場合の画像変換テーブルを用いて重み付け処理（画像変換）を施した場合には、図２１（ａ）、（ｂ）に示すような画像データ（信号波形）となる。図２１（ａ）、（ｂ）における画像データ９０１、９０２は、それぞれ低輝度側、高輝度側の画像データであり、重み付け処理による、図８における画像データ８０１、８０２の図１０に示す画像データ８１１、８１２への変化とは逆に、低輝度側（線形特性領域）の画像データの振幅が増大してコントラストがより強調され、高輝度側（対数特性領域）の画像データの振幅は減衰してコントラストが低下してしまう結果となる。

次に、この画像変換された図１０に示す画像データＦ（Ｉ）は、展開処理部６２つまり直交関数展開部６２１において、図６に示すようにルジャンドルの直交関数（直交基底関数Ｐ_i（ｘ））に展開される（積分処理部６２３でも積分処理前段階において当該展開処理が行われる）。この展開された画像データは図１１（ａ）、（ｂ）に示すものとなる。図１１には、１次と２次の直交基底関数Ｐ₁（ｘ）、Ｐ₂（ｘ）のみを示している（３次以降のＰ_i（ｘ）は図示略）。なお、展開により得られた直交基底関数Ｐ₁（ｘ）及びＰ₂（ｘ）は、図１１中に併せて記載しているが、これらＰ₁（ｘ）、Ｐ₂（ｘ）は、実際には展開処理部６２の各処理ブロックにおける展開処理によって個々に得られるものである。

図１０（ａ）に示す画像データ８１１は、図１１（ａ）に示す画像データ８２１（Ｐ₁（ｘ））、画像データ８２２（Ｐ₂（ｘ））、…画像データＰ_N（ｘ）にそれぞれ展開され、図１０（ｂ）に示す画像データ８１２は、図１１（ｂ）に示す、Ｐ₁（ｘ）である画像データ８２３（Ｐ₁（Ｉ））、Ｐ₂（ｘ）である画像データ８２４（Ｐ₂（Ｉ））、…画像データＰ_N（Ｉ）にそれぞれ展開される。なお、当該展開により得られる直交基底関数の各次の画像データの振幅はそれぞれ異なるものとなる。図１１（ａ）においは、Ｐ₂（ｘ）での振幅は、Ｐ₁（ｘ）での振幅よりも小さなものとなり（殆ど平滑化されている）、図１１（ｂ）においては、Ｐ₂（ｘ）での振幅はＰ₁（ｘ）での振幅よりも大きなものとなっている。以降、直交基底関数Ｐ_i（ｘ）は、この１次及び２次のＰ₁（ｘ）及びＰ₂（ｘ）を用いて説明する。

なお、上記従来の画像変換テーブル（図２０）による画像変換により得られた図２１（ａ）、（ｂ）に示す画像データ９０１、９０２それぞれに対して、当該ルジャンドル直交関数による展開（Ｐ₁（ｘ）、Ｐ₂（ｘ））処理を施した場合には、図２２（ａ）、（ｂ）に示すような信号波形の画像データ９１１、９１２となる。

次に、この直交基底関数への展開により得られた図１１（ａ）、（ｂ）に示す画像データは、それぞれＬＰＦ処理部６２２においてＬＰＦ処理（６４画素平均）が施され、図１２（ａ）、（ｂ）に示す画像データとなる。すなわち、図１１（ａ）に示すＰ₁（ｘ）に対する画像データ８２１及びＰ₂（ｘ）に対する画像データ８２２は、ＬＰＦ処理により画像データ８３１、８３２へと変化し、同じく図１１（ｂ）に示す画像データ８２３（Ｐ₁（ｘ））及び画像データ８２４（Ｐ₂（ｘ））は、ＬＰＦ処理により画像データ８３４、８３５へと変化する。このように、直交基底関数展開された低輝度側及び高輝度側の画像データは、いずれも空間的な高周波成分がカットされ、所謂なだらかな山をもつ波形（振幅の小さい波形）に変化する。画像データ８２１のように既に振幅も小さくなだらかな波形であるものは山のない平坦化された画像データとなる。なお、図１１（ａ）、（ｂ）に示す急峻な立ち上がり波形をもつ画像データ８２５、８２６が、図１２（ａ）、（ｂ）に示す山の低いなだらかな波形をもつ画像データ８３３、８３６へと変化することからも、上記ＬＰＦ処理による画像データの波形変化が明示される。

なお、上記従来の画像変換テーブル（図２０）の適用に基づいて図２２（ａ）、（ｂ）に示すように各基底に展開された画像データそれぞれに対し、当該ＬＰＦ処理を施した場合、図２３（ａ）、（ｂ）に示すような信号波形の画像データ９２１（低輝度側）及び画像データ９２２（高輝度側）となる。この場合も、上記図１２（ａ）、（ｂ）に示す低輝度及び高輝度側の画像データと比較して、画像データ９２１、９２２における振幅の大小が逆となっている。つまり、低輝度側の振幅の方が高輝度側の振幅よりも大きくなっている。

一方、強調変換部６１において画像変換（Ｆ（Ｉ））された図１０（ａ）、（ｂ）に示す画像データ８１１、８１２は、それぞれ積分処理部６２３において上記と同様に直交基底関数Ｐ_i（ｘ）（ここではＰ₁（ｘ）、Ｐ₂（ｘ））へ展開され、さらにこの展開した直交基底関数Ｐ_i（ｘ）に対して積分処理が施されることで、図１３（ａ）の画像データ８４１、８４２、及び図１３（ｂ）の画像データ８４３、８４４となる。

なお、上記従来の画像変換テーブル（図２０）の適用に基づいて図２２（ａ）、（ｂ）に示すように各基底に展開された画像データを用いて当該積分処理を行った場合、図２４（ａ）、（ｂ）に示すような信号波形の画像データ９３１（低輝度側）及び画像データ９３２（高輝度側）となる。

続いて、展開処理部６２の各処理ブロック毎に（各基底毎に）、上記ＬＰＦ処理部６２２によるＬＰＦ処理の結果得られた画像データ（図１２）と、積分処理部６２３による積分処理の結果得られた画像データ（図１３）とを乗算部６２４によって乗算した後（各輝度領域において局所ＨＥ処理を行った後）、具体的には、図１２（ａ）における低輝度側の画像データ８３１、８３２と、図１３（ａ）における低輝度側の画像データ８４１、８４２とを同じ次数同士（即ち同図中のＬＰＦ［Ｐ₁（ｘ）］とＱ₁（ｘ）、ＬＰＦ［Ｐ₂（ｘ）］とＱ₂（ｘ））で乗算し、同様に、図１２（ｂ）における高輝度側の画像データ８３４（ＬＰＦ［Ｐ₁（ｘ）］）及び画像データ８３５（ＬＰＦ［Ｐ₂（ｘ）］）と、図１３（ｂ）における高輝度側の画像データ８４４（Ｑ₁（ｘ））及び画像データ８４３（Ｑ₂（ｘ））とを同じ次数同士で乗算し、当該乗算によって各基底毎に得られた画像データの総和を総和算出部６３により求める。

そして、この総和により得られた低輝度側及び高輝度側それぞれのコントラスト調整画像Ｉ’と、ルートＢを送信されてきた基画像Ｉ（図８（ａ）、（ｂ）にそれぞれ示す基画像Ｉ１及びＩ２）とを、強調係数α（強調係数１−α）を用いて重み付け加算部６４により重み付け加算処理することにより、図１４（ａ）、（ｂ）に示す低輝度側の画像データ８５１及び高輝度側の画像データ８５２が得られる。このように、低輝度側の画像データ（輝度レベル）は、図８（ａ）の画像データ８０１が図１４（ａ）の画像データ８５１となるよう変化し、高輝度側の画像データは、図８（ｂ）の画像データ８０２が図１４（ｂ）の画像データ８５２となるように変化することから、本実施形態による画像処理により、低輝度側のコントラストを抑制（維持）しつつ、高輝度側のコントラストが強調された画像を得ることが可能となる。

なお、上記従来の画像変換テーブル（図２０）の適用に基づいて得られた図２３に示す画像データ（ＬＰＦ処理されたもの）と、図２４に示す積分処理された画像データとを同じ次数の直交基底関数同士で乗算し、当該各基底毎の画像データの総和を求め、強調係数α（強調係数１−α）を用いて重み付け加算処理を行った場合に得られる画像データは、図２６（ａ）、（ｂ）に示すような信号波形をもつ画像データ９４１（低輝度側）及び画像データ９４２（高輝度側）となる。この場合、上記図１４（ａ）、（ｂ）に示す各画像データ８５１及び画像データ８５２における振幅の大小関係とは逆に、画像データ９４１の振幅が画像データ９４２の振幅よりも大きなものとなっており、低輝度側のコントラストがより強調される画像処理となる。

図１５は、デジタルカメラ１における画像処理部６での画像処理動作の一例を示すフローチャートである。先ず画像処理部６に基画像Ｉが入力される（ステップＳ１）。この入力された基画像Ｉに対し、強調変換部６１によって、画像変換テーブルを用いた画像変換による重み付け処理がなされる（ステップＳ２）。そして、展開処理部６２（直交関数展開部６２１及び積分処理部６２３）によって、この重み付け処理された画像データ（Ｆ（Ｉ））が、例えばルジャンドルの直交関数（（Ｐ_i（ｘ））による展開処理に基づいて輝度領域分割される（ステップＳ４）。輝度領域分割された各画像データ（Ｐ_i（Ｉ））は、各処理ブロック６２ａ〜６２ｃにおいて、ＬＰＦ処理部６２２によるＬＰＦ処理が行われる（ステップＳ４）とともに、積分処理部６２３による積分処理が行われる（ステップＳ５）。そして、乗算部６２４によって、当該ＬＰＦ処理により得られた画像データ（局所ＨＥの係数）と積分処理により得られた画像データ（Ｑ_i（Ｉ））とが乗算処理される（ステップＳ６）。さらに、この乗算処理により得られた各基底に対する画像ＰＱ_i（Ｉ）（ｉ＝１〜Ｎ）が、総和算出部６３によって合算され（ステップＳ７）、重み付け加算部６４によって、総和算出部６３により得られたコントラスト調整画像Ｉ’と基画像Ｉとの強調係数α（強調係数１−α）を用いた重み付け加算が行われ（ステップＳ８）、出力画像Ｉ_OUTとして画像処理部６から出力される（ステップＳ９）。

なお、強調係数αの替わりに、基画像Ｉに応じて強調度合を決めるｉ毎（直交基底関数Ｐ_i（Ｉ）の各次数毎）に設定される強調係数α_i（Ｉ）を用いる場合には、上記ステップＳ６における乗算処理時に当該強調係数α_i（Ｉ）が各画像ＰＱ_i（Ｉ）（ｉ＝１〜Ｎ）に対して掛け合わされる。そして、上記ステップＳ８において、強調係数β（Ｉ）を用いたコントラスト調整画像Ｉ’と基画像Ｉとの重み付け加算処理が行われる。

以上のように、本実施形態の撮像装置（デジタルカメラ１）によれば、撮像センサ３（固体撮像素子）は、異なる光電変換特性を２つ以上有している、すなわち異なる２つ以上の光電変換特性からなる光電変換特性（例えば図３に示す線形特性領域と対数特性領域とからなる光電変換特性）を有しており、当該異なる光電変換特性は、低輝度側より高輝度側の方が低コントラストであって、画像処理部６による（１）式に基づいた演算処理において、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくなるため、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像Ｉ）の高画質化（コントラスト性向上）を図ることが可能となる。

また、（１）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きいため、上記強調係数としてのＦ（Ｉ）による強調度合の調整に対して、さらに当該α_i（Ｉ）、β（Ｉ）を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

また、低輝度側より高輝度側の方が低コントラストである２つ以上の異なる光電変換特性を有する撮像センサ３からの撮像信号に対する、画像処理部６による（２）式に基づいた演算処理において、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくなるため、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像Ｉ）の高画質化（コントラスト性向上）を図ることが可能となる。

また、本実施形態の画像処理方法によれば、異なる光電変換特性を２つ以上有している、すなわち異なる２つ以上の光電変換特性からなる光電変換特性（例えば図３に示す本実施形態における線形特性領域と対数特性領域とからなる光電変換特性）を有している撮像センサ３からの撮像信号が、（３）式に基づいて画像処理部６により演算処理され、当該異なる光電変換特性は、低輝度側より高輝度側の方が低コントラストであって、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくされるため、低輝度側より高輝度側の方が低コントラストである画像（ここでは線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像Ｉ）の高画質化（コントラスト性向上）を図ることが可能となる。

また、低輝度側より高輝度側の方が低コントラストである２つ以上の異なる光電変換特性を有する撮像センサ３からの撮像信号が、（４）式に基づいて画像処理部６により演算処理され、少なくとも画像Ｆ（Ｉ）にて表される強調係数が低輝度側より高輝度側の方が強調度合が大きくされるため、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像）の高画質化（コントラスト性向上）を図ることが可能となる。

また、本実施形態の撮像装置（デジタルカメラ１）によれば、撮像センサ３（撮像手段）は異なる光電変換特性を２つ以上有し、強調変換部６１（画像変換手段）によって、撮像センサ３による撮像によって得られる基画像Ｉに対して所定の重み付けを行うための画像変換特性に基づいて画像変換が行われ、展開処理部６２（直交関数展開部６２１、積分処理部６２３；展開手段）によって、強調変換部６１による画像変換によって得られる変換画像が所定の直交基底関数に展開され、ＬＰＦ処理部６２２（フィルタ処理手段）によって、直交関数展開部６２１による展開によって得られる基底毎の展開画像に対する所定のフィルタ処理（ＬＰＦ処理）が行われ、積分処理部６２３（積分手段）によって、展開画像に対する積分処理が行われ、乗算部６２４（乗算手段）によって、積分処理部６２３による積分処理によって得られる積分画像とＬＰＦ処理部６２２によるフィルタ処理によって得られるフィルタ処理画像とが乗算され、総和算出部６３（総和算出手段）によって、乗算部６２４による乗算によって得られる基底毎の乗算画像ＰＱ_i（Ｉ）の総和が算出され、重み付け加算部６４（乗算部６４１、６４２、及び加算部６４３；加算手段）によって、総和算出部６３による総和算出によって得られる総和画像（コントラスト調整画像Ｉ’）と基画像Ｉとが加算され、そして、異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、重み付けによる強調度合が低輝度側より高輝度側の方が大きな画像変換特性に基づいて当該強調変換部６１により画像変換が行われる。

このように、低輝度側より高輝度側の方が低コントラストである光電変換特性をもつ撮像センサ３による撮影画像（基画像Ｉ）が、重み付けの強調度合が低輝度側より高輝度側の方が大きな画像変換特性に基づいて画像変換され、当該変換画像が直交基底関数に展開された展開画像に対してフィルタ処理が施されたフィルタ処理画像と、展開画像が積分処理された積分画像とが乗算されて乗算画像とされ、この乗算画像ＰＱ_i（Ｉ）の全基底に対する総和（総和画像）が求められ、さらにこの総和画像と基画像Ｉとが加算された画像が得られることから、低輝度側より高輝度側の方が低コントラストである画像（線形／対数画像）に対して、低輝度側のコントラストを抑えつつ（維持しつつ）高輝度側のコントラストを向上（改善）させることができ、ひいては撮影画像（線形／対数画像、基画像Ｉ）の高画質化（コントラスト性向上）を図ることが可能となる。

また、重み付け手段によって、総和画像（コントラスト調整画像Ｉ’）及び基画像Ｉ、又は乗算画像ＰＱ_i（Ｉ）及び基画像Ｉの各画像に対して所定の強調係数を用いた重み付けが行われ、この各画像に対する強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きくされるため、上記強調係数としての変換画像による強調度合の調整に対して、さらに当該各画像に対する強調係数を用いた、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる強調度合調整を行うことができ、より自由度の高い且つ高精度な強調度合調整を行うことが可能となる。

さらに、撮像センサ３が、図３に示すように異なる光電変換特性として線形特性と対数特性とを有する、すなわち、撮像手段が線形特性領域と対数特性領域との（２つの）異なる特性からなる光電変換特性を有するものとされるため、当該撮像センサ３によって得られる画像は線形／対数画像となり、この線形／対数画像に対する、低輝度側のコントラストを抑えつつ高輝度側のコントラストを向上させる画像処理の適用が可能となる。なお、本発明は、以下の態様をとることができる。

（Ａ）上記実施形態では、ルジャンドルの直交関数を用いて画像データ（Ｆ（Ｉ））の展開処理を行っているが、これに限らず、直交基底関数に展開可能であれば、例えばフーリエ級数を用いた展開など、いずれの方法（関数）であってもよい。

（Ｂ）図１８に示すように、デジタルカメラ１（撮像センサ３）の撮像により得られた画像データに対する上述のコントラスト改善処理（ダイナミックレンジ圧縮処理）は、画像処理部６において実行せずに、例えばデジタルカメラ１と直接接続又はネットワーク接続された、或いはストレージメディアＭ等を用いて情報伝達可能とされた所定の情報処理装置（例えばＰＣ１００）での画像処理によってなされる構成でもよい。ただし、既にデジタルカメラ１においてコントラスト改善処理が施されている場合には、当該画像データが情報伝達された情報処理装置において、その他の画像処理やマニュアル操作によるさらなるコントラスト改善処理が行われてもよい。

（Ｃ）図２に示す重み付け加算部６４におけるコントラスト調整画像Ｉ’と基画像Ｉとの加算処理において、強調係数α（強調係数１−α）を用いず（掛け合わせず）に単に画像Ｉ’と画像Ｉとを加算する構成としてもよい。強調係数α_i（Ｉ）、β（Ｉ）の場合は、各処理ブロック６２ａ〜６２ｃの乗算部６２４において強調係数α_i（Ｉ）を用いず、また重み付け加算部６４において強調係数β（Ｉ）を用いずに単に画像Ｉ’と画像Ｉとの加算処理を行う構成としてもよい。

本実施形態に係る撮像装置の一例であるデジタルカメラであり、当該デジタルカメラの主に撮像処理に関する概略的なブロック構成図である。 画像処理部におけるダイナミックレンジ圧縮処理（コントラスト改善処理）に関する一回路構成例を示す機能ブロック図である。 上記デジタルカメラに用いられる撮像センサの光電変換特性の一例を示すグラフ図である。 上記デジタルカメラに用いられる撮像センサの光電変換特性の一例を示すグラフ図である。 重み付け関数Ｆ（ｘ）を有する画像変換テーブルの一例を示すグラフ図である。 ルジャンドルの直交関数による展開について説明するグラフ図である。 強調係数α_i（Ｉ）、β（Ｉ）の変化の一例を示すグラフ図である。 本実施形態における画像処理が施される低輝度側及び高輝度側の画像データの一例を示す図であり、（ａ）は低輝度側のコントラストが低い場合の画像データ、（ｂ）は高輝度側のコントラストが低い場合の画像データを示すグラフ図である。 画像変換テーブルの一例を示すグラフ図である。 図８に示す画像データに対する重み付け処理の結果の一例を示す図であり、（ａ）は、図８（ａ）に示す低輝度側の画像データに対する重み付け処理の結果を示すグラフ図であり、（ｂ）は、図８（ｂ）に示す高輝度側の画像データに対する重み付け処理の結果を示すグラフ図である。 図１０に示す画像データに対するルジャンドルの直交関数による展開処理の結果の一例を示す図であり、（ａ）は、図９（ａ）に示す低輝度側の画像データに対する展開処理の結果を示すグラフ図であり、（ｂ）は、図９（ｂ）に示す高輝度側の画像データに対する展開処理の結果を示すグラフ図である。 図１１に示す画像データに対するＬＰＦ処理の結果の一例を示す図であり、（ａ）は、図１０（ａ）に示す低輝度側の画像データに対するＬＰＦ処理の結果を示すグラフ図であり、（ｂ）は、図１０（ｂ）に示す高輝度側の画像データに対するＬＰＦ処理の結果を示すグラフ図である。 図１１に示す画像データに対する積分処理の結果の一例を示す図であり、（ａ）は、図１１（ａ）に示す低輝度側の画像データに対する積分処理の結果を示すグラフ図であり、（ｂ）は、図１１（ｂ）に示す高輝度側の画像データに対する積分処理の結果を示すグラフ図である。 図１２、１３に示す画像データに基づく、乗算処理、総和算出処理、及び重み付け加算処理の結果の一例を示す図であり、（ａ）は、図１２（ａ）及び図１３（ａ）に示す低輝度側の画像データに対する当該各処理の結果を示すグラフ図であり、（ｂ）は、図１２（ｂ）及び図１３（ｂ）に示す高輝度側の画像データに対する当該各処理の結果を示すグラフ図である。 上記デジタルカメラにおける画像処理の動作の一例を示すフローチャートである。 本実施形態の画像処理が適用される撮像センサの光電変換特性の一変形例を示すグラフ図である。 光電変換特性の変曲点と画像変換テーブルの切り替え点とについて説明するグラフ図である。 本実施形態の画像処理に対する一変形例について説明するブロック構成図である。 従来の画像変換テーブルを示すグラフ図である。 従来の画像変換テーブルを示すグラフ図である。 図８に示す画像データに対して図２０に示す従来の画像変換テーブルによる重み付け処理を行った結果の一例を示す図であり、（ａ）は、図８（ａ）に示す低輝度側の画像データに対する当該重み付け処理の結果を示すグラフ図であり、（ｂ）は、図８（ｂ）に示す高輝度側の画像データに対する当該重み付け処理の結果を示すグラフ図である。 図２１に示す画像データに対するルジャンドルの直交関数による展開処理の結果の一例を示す図であり、（ａ）は、図２１（ａ）に示す低輝度側の画像データに対する展開処理の結果を示すグラフ図であり、（ｂ）は、図２１（ｂ）に示す高輝度側の画像データに対する展開処理の結果を示すグラフ図である。 図２２に示す画像データに対するＬＰＦ処理の結果の一例を示す図であり、（ａ）は、図２２（ａ）に示す低輝度側の画像データに対するＬＰＦ処理の結果を示すグラフ図であり、（ｂ）は、図２２（ｂ）に示す高輝度側の画像データに対するＬＰＦ処理の結果を示すグラフ図である。 図２２に示す画像データに対する積分処理の結果の一例を示す図であり、（ａ）は、図２２（ａ）に示す低輝度側の画像データに対する積分処理の結果を示すグラフ図であり、（ｂ）は、図２２（ｂ）に示す高輝度側の画像データに対する積分処理の結果を示すグラフ図である。 従来における強調係数α_i（Ｉ）、β（Ｉ）の変化を示すグラフ図である。 図２３、２４に示す画像データに基づく、乗算処理、総和算出処理、及び重み付け加算処理の結果の一例を示す図であり、（ａ）は、図２３（ａ）及び図２４（ａ）に示す低輝度側の画像データに対する当該各処理の結果を示すグラフ図であり、（ｂ）は、図２３（ｂ）及び図２４（ｂ）に示す高輝度側の画像データに対する当該各処理の結果を示すグラフ図である。

符号の説明

１ デジタルカメラ（撮像装置）
３ 撮像センサ（固体撮像素子、撮像手段）
６ 画像処理部
４０ 光電変換特性
４２ 線形特性領域（請求項１記載の異なる光電変換特性に相当）
４３ 対数特性領域（請求項１記載の異なる光電変換特性に相当）
５４ 低輝度領域
５５ 高輝度領域
６１ 強調変換部（画像変換手段）
６２ 展開処理部（展開手段）
６２ａ〜６２ｃ 処理ブロック
６２１ 直交関数展開部
６２２ ＬＰＦ処理部（フィルタ処理手段）
６２３ 積分処理部（積分手段）
６２４ 乗算部（乗算手段）
６３ 総和算出部（総和算出手段）
６４ 重み付け加算部（加算手段、重み付け手段）
７１ 低輝度領域
７２ 高輝度領域
６４１、６４２ 乗算部
６４３ 加算部
８０５、８０６、８１３、８１４ 振幅
α_i（Ｉ）、α 強調係数
β（Ｉ） 強調係数

Claims (9)

1. 異なる光電変換特性を２つ以上有する固体撮像素子と、
   前記固体撮像素子からの撮像信号を下記（１）式に基づいて演算処理する画像処理部とを備え、
   

   

   但し、Ｐｉ（γ）：直交基底関数（０＜γ＜１）
   Ｆ（Ｉ）：基画像Ｉが重み付け関数Ｆ（ｘ）により重み付け処理されて得られる画像
   α_i（Ｉ）：基画像Ｉに応じて強調度合を決めるｉ毎の強調係数
   β（Ｉ）：基画像Ｉに応じて強調度合を決める強調係数
   ＬＰＦΩｉ［…］：空間ローパスフィルタ処理
   Ωｉ：上記空間ローパスフィルタのカットオフ周波数
   Ｑｉ（Ｆ（Ｉ））：Ｐｉ（γ）に対する０からＦ（Ｉ）までの積分
   前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数は低輝度側より高輝度側の強調度合が大きいことを特徴とする撮像装置。
2. 前記（１）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きいことを特徴とする請求項１記載の撮像装置。
3. 前記画像処理部は、下記（２）式に基づいて前記演算処理を実行するものであって、
   

   

   但し、α：基画像Ｉに応じて強調度合を決める強調係数
   ＬＰＦΩ［…］：空間ローパスフィルタ処理
   Ω：上記空間ローパスフィルタのカットオフ周波数
   前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数は低輝度側より高輝度側の強調度合が大きいことを特徴とする請求項１又は２記載の撮像装置。
4. 異なる光電変換特性を２つ以上有する固体撮像素子からの撮像信号を下記（３）式に基づいて画像処理部により演算処理する画像処理方法であって、
   

   

   但し、Ｐｉ（γ）：直交基底関数（０＜γ＜１）
   Ｆ（Ｉ）：基画像Ｉが重み付け関数Ｆ（ｘ）により重み付け処理されて得られる画像
   α_i（Ｉ）：基画像Ｉに応じて強調度合を決めるｉ毎の強調係数
   β（Ｉ）：基画像Ｉに応じて強調度合を決める強調係数
   ＬＰＦΩｉ［…］：空間ローパスフィルタ処理
   Ωｉ：上記空間ローパスフィルタのカットオフ周波数
   Ｑｉ（Ｆ（Ｉ））：Ｐｉ（γ）に対する０からＦ（Ｉ）までの積分
   前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数を低輝度側より高輝度側の強調度合を大きくすることを特徴とする画像処理方法。
5. 前記（３）式におけるα_i（Ｉ）、β（Ｉ）にて表される強調係数のいずれか又は両方を低輝度側より高輝度側の強調度合を大きくすることを特徴とする請求項４記載の画像処理方法。
6. 前記演算処理を下記（４）式に基づいて実行する画像処理方法であって、
   

   

   但し、α：基画像Ｉに応じて強調度合を決める強調係数
   ＬＰＦΩ［…］：空間ローパスフィルタ処理
   Ω：上記空間ローパスフィルタのカットオフ周波数
   前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、少なくとも前記Ｆ（Ｉ）にて表される強調係数を低輝度側より高輝度側の強調度合を大きくすることを特徴とする請求項４又は５記載の画像処理方法。
7. 異なる光電変換特性を２つ以上有する撮像手段と、
   前記撮像手段による撮像によって得られる基画像に対して所定の重み付けを行うための画像変換特性に基づき画像変換を行う画像変換手段と、
   前記画像変換手段による画像変換によって得られる変換画像を所定の直交基底関数に展開する展開手段と、
   前記展開手段による展開によって得られる基底毎の展開画像に対する所定のフィルタ処理を行うフィルタ処理手段と、
   前記展開画像に対する積分処理を行う積分手段と、
   前記積分手段による積分処理によって得られる積分画像と前記フィルタ処理手段によるフィルタ処理によって得られるフィルタ処理画像とを乗算する乗算手段と、
   前記乗算手段による乗算によって得られる前記基底毎の乗算画像の総和を算出する総和算出手段と、
   前記総和算出手段による総和算出によって得られる総和画像と前記基画像とを加算する加算手段とを備え、
   前記異なる光電変換特性は低輝度側より高輝度側の方が低コントラストであって、前記画像変換手段は、前記重み付けによる強調度合が低輝度側より高輝度側の方が大きな画像変換特性に基づいて画像変換を行うことを特徴とする撮像装置。
8. 前記総和画像及び基画像、又は乗算画像及び基画像の各画像に対して所定の強調係数を用いた重み付けを行う重み付け手段をさらに備え、
   前記各画像に対する強調係数のいずれか又は両方が低輝度側より高輝度側の強調度合が大きいことを特徴とする請求項７記載の撮像装置。
9. 前記撮像手段は、前記異なる光電変換特性として、線形的な光電変換である線形特性と対数的な光電変換である対数特性とを有することを特徴とする請求項７又は８記載の撮像装置。

Images