JP5135953B2 - 画像処理装置、画像処理方法、及び撮像装置 - Google Patents

Description

本発明は、撮像手段により撮像された画像を処理する画像処理の技術に関するものである。

近年、デジタルカメラ等の撮像装置においては、線形特性及び対数特性を有するＣＭＯＳイメージセンサ等が採用され、ダイナミックレンジの拡大が図られている。また、これに関連して以下に示す技術が知られている。

非特許文献１には、画像の空間周波数に基づいて、画像の照明成分（低周波成分）を抽出し、反射率成分を維持したままで照明成分を圧縮し、画像のダイナミックレンジを圧縮する技術が開示されている。

特許文献１には、レンズの歪曲収差による撮影画像の歪みを、隣接画素を線形補間することで解像度を空間的に変化させて補正する技術が開示されている。

特許文献２には、所定の入射光量までは線形変換動作させ、それ以上の入射光量になると対数変換動作に切り換える撮像素子が開示されている（段落［００４８］）。
コニカミノルタテクノロジーレポート VOL.4 (2007) 特開２００５−４５５１４号公報 特開２００６−５０５４４号公報

しかしながら、上記３つの技術を搭載した撮像装置を提供する場合、処理の順序によっては低品質な画像が出力されてしまう恐れがある。すなわち、特許文献２に示す補正処理が実行される前の画像は、同じ被写体が中央部で撮像された場合と周辺部で撮像された場合とで周波数が異なるものとなってしまうため、そのまま非特許文献１に示すダイナミックレンジ圧縮処理を実行すると、同じ被写体が撮像位置に応じて圧縮されたり、圧縮されなかったりするといった問題が生じてしまう。

また、特許文献３による撮像素子で撮像された画像は、２種類の光電変換特性を有するため、そのまま特許文献２に示す補間処理を実行すると、光電変換特性の異なる画素同士が線形補間され、出力画像の光電変換特性が不均一になるといった問題が発生する。

本発明の目的は、同じ被写体が撮像位置に応じて圧縮されたり、圧縮されなかったりするといった事態を回避する、又は出力画像の光電変換特性を均一化し得る画像処理装置、画像処理方法、及び撮像装置を提供することである。

本発明による画像処理装置は、撮像手段の光学特性によって歪んで撮像された画像に対して補間処理を行い、局所的に解像度を変化させ、前記画像の歪みを補正する光学補正処理を実行する補正手段と、画像から空間周波数に基づいて照明成分を抽出し、抽出した照明成分を圧縮することで前記画像のダイナミックレンジを圧縮するダイナミックレンジ圧縮処理を実行する圧縮手段とを備え、前記圧縮手段は、前記補正手段による光学補正処理後の画像に対して前記ダイナミックレンジ圧縮処理を実行することを特徴とする。

また、本発明による画像処理方法は、撮像手段の光学特性によって歪んで撮像された画像に対して補間処理を行い、局所的に解像度を変化させ、前記画像の歪みを補正する補正ステップと、画像から空間周波数に基づいて照明成分を抽出し、抽出した照明成分を圧縮することで前記画像のダイナミックレンジを圧縮するダイナミックレンジ圧縮処理を実行する圧縮ステップとを備え、前記圧縮ステップは、前記補正ステップの後に実行されることを特徴とする。

これらの構成によれば、ダイナミックレンジ圧縮処理が、光学補正処理の後に実行されるため、中央部と周辺部との解像度が均一化された後、ダイナミックレンジ圧縮処理が実行される結果、同じ被写体を周辺部で撮像する又は中央部で撮像しても同じ周波数特性を有することになり、同じ被写体が撮像位置に応じて圧縮されたり、圧縮されなかったりするといった事態を回避することができる。

また、本発明による画像処理装置は、複数の光電変換特性を有する撮像手段で撮像された画像の光電変換特性を、１つの光電変換特性に統一する変換手段と、前記撮像手段の光学特性によって歪んで撮像された画像に対して補間処理を行い、局所的に解像度を変化させ、前記画像の歪みを補正する光学補正処理を実行する補正手段とを備え、前記変換手段は、前記補正手段による処理前の画像に対して光電変換特性を統一する処理を行うことを特徴とする。

また、本発明による画像処理方法は、複数の光電変換特性を有する撮像手段で撮像された画像の光電変換特性を、１つの光電変換特性に統一する変換手段と、撮像手段の光学特性によって歪んで撮像された画像に対して局所的に解像度を変化させ、前記画像の歪みを補正する補正手段と、画像から空間周波数に基づいて照明成分を抽出し、抽出した照明成分を圧縮することで前記画像のダイナミックレンジを圧縮するダイナミックレンジ圧縮処理を実行する圧縮手段とを備え、前記変換手段は、前記補正手段による光学補正処理前の画像に対して光電変換特性を統一する処理を行い、前記圧縮手段は、前記補正手段による光学補正処理後の画像に対して前記ダイナミングレンジ圧縮処理を実行することを特徴とする。

これらの構成によれば、変換手段により複数の光電変換特性を有する画像が１つの光電変換特性を有する画像に統一された後、光学補正処理が実行されるため、１つの光電変換特性を有する画素同士を線形補間することが可能となり、出力画像の光電変換特性を均一化することができる。

また、本発明による画像処理装置は、複数の光電変換特性を有する撮像手段で撮像された画像の光電変換特性を、１つの光電変換特性に統一する変換手段と、撮像手段の光学特性によって歪んで撮像された画像に対して局所的に解像度を変化させ、前記画像の歪みを補正する補正手段と、画像から空間周波数に基づいて照明成分を抽出し、抽出した照明成分を圧縮することで前記画像のダイナミックレンジを圧縮するダイナミックレンジ圧縮処理を実行する圧縮手段とを備え、前記変換手段は、前記補正手段による光学補正処理前の画像に対して光電変換特性を統一する処理を行い、前記圧縮手段は、前記補正手段による光学補正処理後の画像に対して前記ダイナミングレンジ圧縮処理を実行することを特徴とする。

この構成によれば、同じ被写体が撮像位置に応じて圧縮されたり、圧縮されなかったりするといった事態を回避し、かつ出力画像の光電変換特性を均一化することができる。

また、本発明による撮像装置は、請求項１〜３のいずれかに記載の画像処理装置を備えることを特徴とする。この構成によれば、同じ被写体が撮像位置に応じて圧縮されたり、圧縮されなかったりするといった事態を回避することができ、出力画像の光電変換特性を均一化することができるといった撮像装置を提供することができる。

本発明によれば、同じ被写体が撮像位置に応じて圧縮されたり、圧縮されなかったりするといった事態を回避することができる。また、本発明によれば、出力画像の光電変換特性を均一化することができる。

図１は、本発明の実施の形態による撮像装置のブロック図を示している。図１に示すように撮像装置１は、デジタルカメラから構成され、レンズ部２（撮像手段の一例）、撮像センサ３（撮像手段の一例）、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。

レンズ部２は、被写体の光像を取り込み、撮像センサ３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ部２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部８の制御の下、絞り及びシャッタの駆動が制御される。

撮像センサ３は、レンズ部２において結像された光像を光電変換して、光量に応じたレベルを有するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の画像信号を生成し、アンプ４へ出力する。ここで、撮像センサ３としては、複数の光電変換特性を有する撮像センサが採用され、本実施の形態では、低輝度側が線形特性、高輝度側が対数特性の２種類の光電変換特性を有するＣＭＯＳイメージセンサが採用されている。なお、光電変換特性としては上記２種類のものに限定されず、３種類以上の光電変換特性を有する撮像センサを採用してもよく、また、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等の撮像センサを採用してもよい。

図２は、撮像センサ３による光電変換特性を示したグラフであり、縦軸は画像信号を示し、横軸は受光した光量を示している。画像信号が所定の閾値Ｔｈ以下のｌｉｎ（リニア）領域では、実線Ｐ２で示すように画像信号と光量とが線形に変化しているが、閾値Ｔｈを超えたｌｏｇ（対数）領域では、波線Ｐ１で示すように画像信号と光量とが対数的に変化しており、撮像センサ３は、線形特性と対数特性との２種類の光電変換特性を有していることが分かる。

図１に戻り、アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路、及びＣＤＳ（相関二重サンプリング）回路等を含み、撮像センサ３から出力された画像信号を増幅する。Ａ／Ｄ変換部５は、アンプ４により増幅された画像信号をデジタルの画像データに変換する。本実施の形態では、撮像センサ３の各画素で受光された画像信号は、例えば１２ビットの階調値を有する画像データに変換される。

画像処理部６は、Ａ／Ｄ変換部５から出力された画像データに対し、ＦＰＮ補正、黒基準補正、ホワイトバランス補正等の種々の画像処理を実行する他、後述する光電変換特性を統一する処理、光学補正処理、及びダイナミックレンジ圧縮処理を実行する。画像メモリ７は、例えばＲＡＭ（Random Access Memory）から構成され、画像処理部６で画像処理が施された画像データ等を保存する。

制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等
からなり、撮像装置１全体の動作制御を司る。

モニタ部９は、例えば撮像装置１のハウジングの背面に配設されたカラー液晶表示器が採用され、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等をモニタ表示する。

操作部１０は、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群等を含む。レリーズスイッチが押されることで、撮像動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所要の画像処理が施され、画像メモリ７等に記録されるといった一連の撮影動作が実行される。

図３は、図１に示す画像処理部６の詳細な構成を示すブロック図である。画像処理部６は、変換部６１（変換手段の一例）、補正部６２（補正手段の一例）、及び圧縮部６３（圧縮手段の一例）を備えている。

変換部６１は、複数の光電変換特性を有する撮像センサ３で撮像された画像の光電変換特性を、１つの光電変換特性に統一する。本実施の形態では、撮像センサ３は、線形特性及び対数特性の２種類の光電変換特性を有しているため、変換部６１は、撮像センサ３で撮像された画像の光電変換特性を線形特性に統一する。なお、変換部６１は、撮像された画像を線形特性に代えて対数特性で統一してもよい。また、撮像センサ３が３種類以上の光電変換特性を有する場合、変換部６１は、これら３種類以上の光電変換特性をいずれか１つの光電変換特性に統一してもよい。更に、この場合、撮像センサ３が有していない光電変換特性に変換して光電変換特性を統一しても良い。

また、線形特性及び対数特性以外の光電変換特性としては、例えば露光時間の異なる２枚の画像を１枚の画像に合成する２回露光方式による光電変換特性や、撮像センサ３として適応型センサを用いた場合の光電変換特性が挙げられ、これらの光電変換特性は、傾きの異なる２本の直線で表されるため、これらの光電変換特性が採用された場合、変換部６１は、これら２本の直線のうち、一方の直線に光電変換特性が統一されるように画像処理を行えばよい。更に、この場合、撮像センサ３が有していない光電変換特性に変換して光電変換特性を統一しても良い。

図４は、変換部６１の詳細な構成を示すブロック図である。変換部６１は、比較部６１１、ＬＵＴ（ルックアップテーブル）６１２、及び選択部６１３を備えている。比較部６１１は、Ａ／Ｄ変換部５から１画素単位で出力された画像データの階調値を、図２に示す閾値Ｔｈに対応する所定の基準値Ｖｔｈと比較し、基準値Ｖｔｈを超える場合は、選択部６１３がＬＵＴ６１２を介して出力された画像データを選択するように、選択部６１３に選択信号を出力し、基準値Ｖｔｈ以下の場合は、選択部６１３がＬＵＴ６１２を介さずに出力された画像データを選択するように、選択部６１３に選択信号を出力する。なお、基準値Ｖｔｈとしては、図２に示す閾値ＴｈをＡ／Ｄ変換部５で変換した値、すなわち閾値Ｔｈを１２ビットのデータで表した場合の階調値を採用することができる。

ＬＵＴ６１２は、図２の波線Ｐ１で示す対数特性を実線Ｐ２で示す線形特性に変換するためにＡ／Ｄ変換部５から出力される画像データの各階調値に対して予め定められた変換値を記憶し、Ａ／Ｄ変換部５から画像データが出力されると、その画像データの階調値に対応付けられた変換値を読み出して選択部６１３に出力する。

選択部６１３は、比較部６１１からＬＵＴ６１２を介して出力された画像データを選択する選択信号が出力された場合は、ＬＵＴ６１２を介して出力された変換値を選択し、画像データとして補正部６２に出力し、比較部６１１からＬＵＴ６１２を介さずに出力された画像データを選択する選択信号が出力された場合は、ＬＵＴ６１２を介さずにＡ／Ｄ変換部５から出力された画像データを選択し、補正部６２に出力する。

これにより、図２の波線Ｐ１で示す閾値Ｔｈより高い高輝度側の対数特性が実線Ｐ２で示す線形特性に変換され、２種類の光電変換特性が１種類の光電変換特性に統一される。

図３に戻り補正部６２は、レンズ部２の光学特性によって歪んで撮像された画像に対して注目画素を近傍画素で補間する補間処理を行い、局所的に解像度を変化させ、画像の歪みを補正する光学補正処理を実行する。

図５は、補正部６２による光学補正処理を説明する模式図である。図５に示す格子状に配列された升目の頂点は、補正部６２により補正された補正後画像の各画素を示し、楕円は補正部６２により補正される前の補正前画像を示し、点線で示す四角形は補正後画像を示している。図５に示すように補正前画像は、レンズ部２の光学特性に起因して、本来あるべき平坦な画像を楕円内に集約したような歪みを有する画像となる。そこで、補正部６２は、楕円内に集約された画像が点線で示す補正後画像の領域内に展開されるように補正前画像の各画素の座標を移動させ、歪みを取り除く。例えば、補正前画像の左端の座標（Ｘ´，Ｙ´）に位置する画素ＰＧは、補正後画像の左端の座標（Ｘ，Ｙ）に移動される。なお、各画素の移動量は、中央部ほど移動量が小さく周辺部ほど移動量が大きくなるというようにレンズの光学特性に応じて各場所で異なる。これは、補正後画像の解像度が画像全体で均一であるとすると、補正前画像の解像度は局所的に解像度が異なることを意味している。

図６は、補正部６２の詳細な構成を示すブロック図である。補正部６２は、アドレス指定部６２１、ＬＵＴ６２２、メモリ６２３、及び補間部６２４を備える。アドレス指定部６２１は、１枚の補正後画像の各画素に対応付けられたＬＵＴ６２２のアドレスを順次指定する。ここで、アドレス指定部６２１は、例えば１枚の補正後画像の左上の頂点の画素から右下の頂点の画素までラスタスキャンするように、補正後画像の各画素に対応付けられたＬＵＴ６２２のアドレスを順次指定する。

ＬＵＴ６２２は、補正前画像を光学補正処理するために、１枚の補正後画像の各画素に対して予め定められた補正前画像の座標を記憶しており、具体的には、１枚の補正後画像の各画素が予め対応付けられたアドレスに、補正前画像の各画素の座標を記憶している。そして、ＬＵＴ６２２は、アドレス指定部６２１からアドレスが指定されると、そのアドレスに記憶された補正前画像の座標をメモリ６２３に出力する。

メモリ６２３は、変換部６１から出力される１枚の画像データを記憶し、ＬＵＴ６２２から座標が出力されると、その座標に位置する注目画素の周囲の４近傍に位置する４つの近傍画素の画像データを補間部６２４に出力する。補間部６２４は、メモリ６２３から出力された４つの近傍画素の画像データの平均値を算出し、この平均値を注目画素の画像データとして算出する。

図７は、メモリ６２３及び補間部６２４の処理を説明する模式図である。図７に示すＡ，Ｂ，Ｃ，Ｄは、注目画素ＣＧの周囲の４近傍に位置する４つの近傍画素を示している。図７に示すように、メモリ６２３は、ＬＵＴ６２２から注目画素ＣＧの座標（Ｘ´，Ｙ´）が出力されると、近傍画素Ａ〜Ｄの画像データを補間部６２４に出力し、補間部６２４は、Ｄｇ＝（Ｄａ＋Ｄｂ＋Ｄｃ＋Ｄｄ）／４の演算を実行し、注目画素ＣＧの画像データであるＤｇを算出する。但し、Ｄｇ、Ｄａ〜Ｄｄは、各々、注目画素ＣＧ、近傍画素Ａ〜Ｄの階調値を示す。

なお、光学補正処理は上記の手法に限定されず、上記近傍画素Ａ〜Ｄの各々の重み付けを規定する補間係数を採用し、補正前画像を線形補間するようにしてもよい。補正前画像において、注目画素ＣＧは、図７に示すように、必ずしも近傍画素Ａ〜Ｄで囲まれる四角形の中央に位置するとは限らず、位置によってはいずれかの近傍画素Ａ〜Ｄに偏り、また近傍画素Ａ〜Ｄも図７に示すように必ずしも格子状に配置されるとは限らない。この場合、注目画素ＣＧに近い近傍画素Ａ〜Ｄほど注目画素ＣＧに与える影響を大きくなるような線形補間処理を行うと、精度よく光学補正処理を行うことができる。そこで、補正前画像において、注目画素ＣＧに近い近傍画素Ａ〜Ｄほど、その値が大きくなるような補間係数を設定し、この補間係数を用いて線形補間処理を実行することで、より高精度な光学補正処理を実現することができる。

具体的には、ＬＵＴ６２２は、１枚の補正後画像の各画素が予め対応づけられたアドレスに近傍画素Ａ〜Ｄの各々の補間係数ｋ１〜ｋ４を注目画素の座標と併せて記憶しておき、アドレス指定部６２１によりアドレスが指定されると、図６の波線で示すように、指定されたアドレスに記憶された補間係数ｋ１〜ｋ４を補間部６２４に出力する。

そして、補間部６２４は、ＬＵＴ６２２から出力された補間係数ｋ１〜ｋ４と、メモリ６２３から出力された近傍画素Ａ〜Ｄの画像データＤａ〜Ｄｄとを用いて、Ｄｇ＝（ｋ１・Ｄａ＋ｋ２・Ｄｂ＋ｋ３・Ｄｃ＋ｋ４・Ｄｄ）／４の演算を実行し、注目画素ＣＧの画像データＤｇを算出すればよい。

また、補正前画像の注目画素ＣＧの位置によっては、４つの近傍画素Ａ〜Ｄの全てを用いることなく少なくともいずれか２つの近傍画素を用いれば良い場合もある。この場合、ＬＵＴ６２２は、各アドレスに注目画素ＣＧの座標に加えて、補間処理に使用する近傍画素を指定するための近傍画素情報を記憶しておき、アドレス指定部６２１によりアドレスが指定されるとそのアドレスに記憶された注目画素ＣＧの座標と、近傍画素情報とをメモリ６２３に出力する。そして、メモリ６２３は、ＬＵＴ６２２から出力された注目画素ＣＧの座標と近傍画素情報とから補間部６２４に出力する近傍画素を特定し、特定した近傍画素を補間部６２４に出力する。そして、補間部６２４は、メモリ６２３から出力された近傍画素の画像データの平均値を算出し、この平均値を注目画素ＣＧの画像データとして算出すればよい。この場合、補間部６２４は、必要に応じて上記の補間係数を用いて注目画素ＣＧの画像データを算出してもよい。

図３に戻り圧縮部６３は、補正部６２から出力される画像から空間周波数に基づいて照明成分を抽出し、抽出した照明成分を圧縮することで画像のダイナミックレンジを圧縮するダイナミックレンジ圧縮処理を実行する。ここで、ダイナミックレンジ圧縮処理としては、コニカミノルタテクノロジーレポート VOL.4 (2007) 82〜88ページに記載された手法を採用することができる。

具体的には、補正部６２から出力された１枚の画像データに対して、３×３、５×５といった比較的サイズの小さい２次元のローパスフィルタを用いたダウンサンプリング処理を複数回数繰り返して原画像を多重解像度化した後、低解像度側の画像のエッジ部分を上層の高解像度側の画像で置き換えながらアップサンプリングを行うアップサンプリング処理を複数回数実行するエッジ保存型のローパスフィルタ処理を実行することで、照明成分を抽出する。そして、抽出した照明成分を、所定の圧縮特性に従って圧縮し、圧縮した照明成分に、原画像を圧縮前の照明成分で除して得られる反射率成分を乗じる。これにより、ダイナミックレンジ圧縮処理が施された画像が生成される。

このダイナミックレンジ圧縮処理によれば、多重解像度化することで比較的小さなサイズのローパスフィルタで大きなぼけ画像を得ることが可能となり、計算量の低下を図りつつ、照明成分を高精度に抽出することができる。また、エッジ保存型のローパスフィルタ処理が実行されているため、エッジ付近で発生するハロー効果と呼ばれる不具合を抑制することができる。

なお、照明成分を抽出する処理としては上記処理に限定されず、例えば、カットオフ周波数ＦＬを予め定めておき、このカットオフ周波数ＦＬより空間周波数の高い画像を反射率成分として抽出し、カットオフ周波数ＦＬより空間周波数の低い画像を照明成分として抽出するというような、空間周波数に基づいて照明成分を抽出する処理であればどのような処理を採用してもよい。

次に、図３に示す画像処理部６の動作について説明する。まず、Ａ／Ｄ変換部５から画像データが１画素単位で出力されると、この画像データは、変換部６１により、基準値Ｖｔｈと比較され、階調値が基準値Ｖｔｈより大きい場合は、線形特性に変換されて出力され、基準値Ｖｔｈ以下の場合は、そのまま出力される。次いで、変換部６１から画像データが順次出力され１枚分の画像データが補正部６２に入力されると、入力された画像データは、補正部６２により光学補正処理が施されて、１画素単位で順次圧縮部６３に出力される。次いで、光学補正処理が施された１枚分の画像データが圧縮部６３に入力されると、入力された画像データは、圧縮部６３によりダイナミックレンジ圧縮処理が実行され、１画素単位で順次出力され、図１に示す画像メモリ７に記憶される。

次に、光学補正処理を行う前に光電変換特性を統一する処理を実行することによる効果について説明する。撮像センサ３は、線形特性及び対数特性の光電変換特性を持つため、画像処理部６に入力される画像データは、線形特性及び対数特性を有する画像データとなる。

ここで、補正部６２は、近傍画素Ａ〜Ｄを線形補間することで光学補正処理を行うため、入力された画像データに対して、そのまま光学補正処理を行うと以下の演算処理が行われることになる。

Ｄｇ＝（Ｄａ＋Ｄｂ＋Ｄｃ＋Ｄｄ）／４において、Ｄａ〜Ｄｃの全てが線形特性であった場合、Ｄｇ＝（ｊ１×Ｌａ＋ｊ１×Ｌｂ＋ｊ１×Ｌｃ＋ｊ１×Ｌｄ）／４との演算が行われる。

但し、Ｌａ〜Ｌｄは各画素の入射光量を示し、ｊ１は線形特性での光電変換係数を示す。この場合、Ｄａ〜Ｄｄは線形特性を有しているため、算出されたＤｇは、各画素の入射光量に応じた平均値となる。

しかしながら、Ｄａが線形特性、Ｄｂが対数特性、Ｄｃが線形特性、Ｄｄが対数特性であった場合、Ｄｇ＝（ｊ１×Ｌａ＋ｊ２×Ｌｏｇ（Ｌｂ）＋ｊ１×Ｌｃ＋ｊ２×Ｌｏｇ（Ｌｄ））／４なる演算が行われる。但し、Ｌａ〜Ｌｄは各画素への入射光量を示し、ｋ１は線形特性での光電変換係数を示し、ｋ２は対数特性での光電変換係数を示す。

この場合、近傍画素Ａ〜Ｄ毎に光電変換特性が異なるため、Ｄｇは、各画素の入射光量に応じた平均値とはならず、出力される画像データが近傍画素Ａ〜Ｄの入射光量に対して不均一に補間処理されてしまい、画像劣化を起こしてしまう。そこで、画像処理部６は、入力される画像データを線形又は対数特性に統一し、その後の光学補正処理を行うことで、画素毎に異なる光電変換特性の画像データが出力されることを防いでいる。

次に、ダイナミックレンジ圧縮処理を行う前に光学補正処理を行うことによる効果について説明する。レンズ部２の光学特性により画像処理部６に入力される画像は空間的に異なる解像度で撮影された画像となり、同じ被写体であっても、画像の中央部で撮像した場合と周辺部とで撮像した場合とで、その被写体の持つ空間周波数は異なるものとなってしまう。

例えば、照明成分を抽出するためのカットオフ周波数をＦＬとすると、カットオフ周波数ＦＬ以上の空間周波数の画像は反射率成分となり、カットオフ周波数ＦＬ未満の空間周波数の画像は照明成分となる。

したがって、ある被写体が画像の中央部で撮影された場合の空間周波数がＦ１であり、周辺部で撮像された場合の空間周波数がＦ２であったとすると、Ｆ１、Ｆ２がともにカットオフ周波数ＦＬより小さい、又は大きい場合は、被写体の画像は周辺部で撮像されようと中央部で撮像されようと、照明成分又は反射率成分として抽出されるため問題はない。

しかしながら、Ｆ１がカットオフ周波数ＦＬ未満、かつＦ２がカットオフ周波数ＦＬ以上の場合は、被写体の画像が中央部で撮像された場合は、照明成分として抽出されるが、周辺部で撮像された場合は、被写体の画像が周辺部で撮像され場合は反射率成分として抽出されてしまい、同じ被写体であっても撮像された位置に応じて、照明成分として抽出されたり、反射率成分として抽出されたりしてしまう。

そこで、画像処理部６は、光学補正処理により入力される画像の解像度をほぼ均一にした後で、ダイナミックレンジ圧縮処理を実行することで、同じ被写体が撮像された位置に応じて、照明成分として抽出されたり、反射率成分として抽出されたりすることを防止している。

このように、撮像装置１によれば、変換部６１により光電変換特性が１つの光電変換特性に統一された後、補正部６２により光学補正処理が実行されるため、１つの光電変換特性を有する画素同士を線形補間することが可能となり、出力画像の光電変換特性を均一化することができる。

また、圧縮部６３によるダイナミックレンジ圧縮処理が、光学補正処理の後に実行されるため、中央部と周辺部との解像度が均一化された後、ダイナミックレンジ圧縮処理が実行される結果、同じ被写体が撮像位置に応じて圧縮されたり、圧縮されなかったりするといった事態を回避することができる。

本発明の実施の形態による撮像装置のブロック図を示している。 撮像センサによる光電変換特性を示したグラフである。 図１に示す画像処理部の詳細な構成を示すブロック図である。 変換部の詳細な構成を示すブロック図である。 補正部による光学補正処理を説明する模式図である。 補正部の詳細な構成を示すブロック図である。 補正前画像の模式図を示している。

符号の説明

１ 撮像装置
２ レンズ部
３ 撮像センサ
４ アンプ
５ 変換部
６ 画像処理部
７ 画像メモリ
８ 制御部
９ モニタ部
１０ 操作部
６１ 変換部
６２ 補正部
６３ 圧縮部
６１１ 比較部
６１２ ＬＵＴ
６１３ 選択部
６２１ アドレス指定部
６２３ メモリ
６２４ 補間部

Claims (5)

1. 各画素が入射光量に応じて複数の光電変換特性を有する撮像手段で撮像された画像の各画素の光電変換特性を、入射光量によらず１つの光電変換特性に統一する変換手段と、
   前記撮像手段の光学特性によって歪んで撮像された画像に対して補間処理を行い、局所的に解像度を変化させ、前記画像の歪みを補正する光学補正処理を実行する補正手段とを備え、
   前記変換手段は、前記補正手段による処理前の画像に対して光電変換特性を統一する処理を行い、
   前記補正手段は、
   補正後画像の各画素に対応する補正前画像の注目画素を、前記注目画素の近傍画素を用いて補間することで、前記補正後画像の各画素の画像データを求めるものであり、
   補正前画像を光学補正処理するために、補正後画像の各画素に対して予め定められた補正前画像の座標を予め記憶する記憶部と、
   前記記憶部から出力された座標の周囲に位置する近傍画素を補間して、前記注目画素の画像データを算出する補間部とを備えることを特徴とする画像処理装置。
2. 画像から空間周波数に基づいて照明成分を抽出し、抽出した照明成分を圧縮することで前記画像のダイナミックレンジを圧縮するダイナミックレンジ圧縮処理を実行する圧縮手段を更に備え、
   前記圧縮手段は、前記補正手段による光学補正処理後の画像に対して前記ダイナミックレンジ圧縮処理を実行することを特徴とする請求項１記載の画像処理装置。
3. 各画素が入射光量に応じて複数の光電変換特性を有する撮像手段で撮像された画像の光電変換特性を、入射光量によらず１つの光電変換特性に統一する変換ステップと、
   前記撮像手段の光学特性によって歪んで撮像された画像に対して補間処理を行い、局所的に解像度を変化させ、前記画像の歪みを補正する補正ステップとを備え、
   前記変換ステップは、前記補正ステップの前に実行され、
   前記補正ステップは、
   補正後画像の各画素に対応する補正前画像の注目画素を、前記注目画素の近傍画素を用いて補間することで、前記補正後画像の各画素の画像データを求めるものであり、
   補正前画像を光学的補正処理するために、補正後画像の各画素に対して予め定められた補正前画像の座標を予め記憶する記憶部から出力された座標の周囲に位置する近傍画素を補間して、前記注目画素の画像データを算出することを特徴とする画像処理方法。
4. 画像から空間周波数に基づいて照明成分を抽出し、抽出した照明成分を圧縮することで前記画像のダイナミックレンジを圧縮するダイナミックレンジ圧縮処理を実行する圧縮ステップを更に備え、
   前記圧縮ステップは、前記補正ステップの後に実行されることを特徴とする請求項３記載の画像処理方法。
5. 請求項１又は２記載の画像処理装置を備えることを特徴とする撮像装置。
   

Images