(実施形態1)
図1は、第1の実施形態に係る撮像装置の一例であるデジタルカメラ1を示し、このデジタルカメラ1の主に撮像処理に関するブロック構成図を示している。図1に示すようにデジタルカメラ1は、レンズ部2、固体撮像素子3、アンプ4、A/D変換部5、ノイズ除去部6、階調変換部7、画像メモリ8、全体制御部9、モニタ部10及び操作部11を備えている。
レンズ部2は、被写体光(光像)を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている固体撮像素子3へ導くための光学レンズ系を構成するものであり、例えば被写体光の光軸Lに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロックからなるレンズ群である。レンズ部2は、当該レンズの透過光量を調節するための絞り(図略)やシャッタ(図略)を備えており、全体制御部9によってこの絞りやシャッタの駆動制御がなされる構成となっている。
固体撮像素子3は、レンズ部2により結像された被写体光像の光量に応じ、R、G、Bの各色成分の画像信号に光電変換して後段のアンプ4へ出力する撮像センサである。本実施形態においては、固体撮像素子3として、図4に示すような入力輝度(センサ入射輝度)が低い場合(暗時)に出力画素信号(光電変換により発生する出力電気信号)が線形的に変換されて出力される線形特性と、輝度が高い場合(明時)に出力画素信号が対数的に変換されて出力される対数特性とからなる光電変換特性、換言すれば、低輝度側が線形の光電変換特性、高輝度側が対数特性の光電変換特性を有するものが用いられる。ただし、固体撮像素子3は、上記線形/対数特性からなる光電変換特性だけでなく、線形特性のみ、或いは対数特性のみからなる光電変換特性に任意に切り替えることが可能である。また、線形特性と対数特性との切り替わり点(以降、この切り替わり点のことを「変曲点」という)は、固体撮像素子3の各画素回路に対する所定の制御信号に基づいて任意に変化させることが可能である。なお、光電変換特性における上記線形特性に示すような低輝度側の特性を「低輝度側特性」、対数特性に示すような高輝度側の特性を「高輝度側特性」と表現するものとする。
図2は、固体撮像素子3の一例である二次元のMOS型固体撮像装置(CMOSイメージセンサ)の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、上記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図2では図示を省略している。
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT12と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタを設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
図3は、図2に示す各画素G11〜Gmnの構成例を示す回路図である。同図に示すように、固体撮像素子3の各画素は、フォトダイオードPD1、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT10〜T13、及びFD(Floating Diffusion)から構成されている。トランジスタT10〜T13は、ここではNチャンネルMOSFETが採用されている。VDD、φRSB、φRST、φTX及びφVは、各トランジスタに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPD1は、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD1)を出力する。トランジスタT12は、図2に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧V1OUTに対する増幅(電流増幅)を行う。トランジスタT13は、ゲートに印加する電圧(信号φV)に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタ(行選択トランジスタ)である。トランジスタT13のソースは、図2に示す出力信号線306に接続されており、トランジスタT13がオンした場合、トランジスタT12で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT10は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードPD1で発生した光電流IPD1(電荷)のFDに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードPD1で発生した光電流IPD1はフォトダイオードPD1の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタT10がオン状態であれば、この寄生容量に蓄積された電荷(負電荷)がFDへ向けて移動する。FDは、電荷(信号電荷)を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える(電荷電圧変換を行う)所謂キャパシタの役割を担うものである。
トランジスタT11(リセットゲートトランジスタ)は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてFDに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに(例えばトランジスタT11がオン状態の場合、トランジスタT10もオン状態となっており、トランジスタT11、FD、トランジスタT10及びフォトダイオードPD1を挟んだφRSB及びGND間にリセットバイアスがかけられた状態となる)、ゲート電圧をMid電位(中間レベル)とすることで、フォトダイオードPD1からFDに移動する電荷(FDを流れる電流)のFD及びトランジスタT11による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。
この場合、トランジスタT11には上記Mid電位に応じた電流(リセット電流)が流れ、トランジスタT11のソースがこのリセット電流に応じた電位となる。そして、フォトダイオードPD1から移動してくる電荷による電位が、Mid電位に応じたトランジスタT11のソース電位より小さい場合には、すなわち撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードPD1に入射される入射光量が少ない場合には、FDにおいて線形変換としての電荷電圧変換が行われ、一方、ソース電位を超える場合には、すなわち撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードPD1に入射される入射光量が多い場合には、トランジスタT11において対数変換としての電荷電圧変換が行われる。
これにより、FDとトランジスタT12との接続ノード(出力V1OUT)には、FDにおける光電流IPD1の積分値による線形出力としての電圧、或いはトランジスタT11における光電流IPD1に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値はFDにおける光電流IPD1の積分値となるが、対数特性領域については、FD部に蓄えられた電荷による電位がトランジスタT11(リセットゲート)のソース電流を超えた領域において、光電流IPD1と等しい電流がトランジスタT11に流れ、トランジスタT11において光電流IPD1が電流−電圧変換された値(電圧)が当該出力値としてFD部に現れる(信号電荷を対数圧縮した電荷が上記寄生容量に蓄積される)。このトランジスタT11での電流−電圧変換が上記対数変換に相当する。そして、トランジスタT13がオンされると、これら各電圧に応じたトランジスタT12による増幅電流が、トランジスタT13を介して出力電流として出力信号線306に導出される。このように固体撮像素子3により、被写体輝度(センサ入射輝度)に応じて線形変換又は対数変換された出力信号が得られる。
なお、ここでは、固体撮像素子3の各画素において上記NチャンネルMOSFETを採用しているが、PチャンネルMOSFETを採用してもよい。また、固体撮像素子3として、上述のようにFDを用いて線形変換及び対数変換を行うCMOSイメージセンサに限らず、例えばMOSFET(P型又はN型)の所謂サブスレッショルド特性(ゲート電圧が閾値以下の時にサブスレッショルド電流と呼ばれる微小電流が流れる特性)を利用することで当該線形変換及び対数変換を行うCMOSイメージセンサを採用してもよい。ただし、CMOSイメージセンサに限らず、VMISイメージセンサやCCDイメージセンサ等であってもよい。
アンプ4は、例えばAGC(オートゲインコントロール)回路を備え、固体撮像素子3から入力されるアナログ画像信号がA/D変換部5の入力電圧範囲に合うように、適切な増幅率で増幅するものである。アンプ4は、AGC回路の他、画像信号のサンプリングノイズの低減を行うCDS(相関二重サンプリング)回路等を備えていてもよい。なお、AGC回路に対するゲイン値は全体制御部9によって設定される。
A/D変換部5は、アンプ4にて増幅(ゲイン調整)されたアナログ画像信号をデジタル画像信号に変換するものであり、固体撮像素子3の各画素で受光して得られる画素信号をそれぞれ例えば12ビットの画素データに変換する。
ノイズ除去部6は、A/D変換部5から入力される画像信号のノイズを除去するものである。このノイズ除去の詳細については後述する。
階調変換部7は、ノイズ除去部6から入力される画像信号が適切な出力レベルとなるように、画像信号に対して所定の階調変換処理を行い、該画像信号の階調特性を変化させるものである。
画像メモリ8は、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリからなり、ノイズ除去部6や階調変換部7においてデータ処理される前のRAW画像データ、或いはノイズ除去部6、階調変換部7又は全体制御部9での各種データ処理時又は処理後の画像データ等を格納するものである。
全体制御部9は、各制御プログラム等を記憶するROM、一時的に各種データを格納するRAM、及び制御プログラム等をROMから読み出して実行する中央演算処理装置(CPU)等からなり、デジタルカメラ1全体の動作制御を司るものである。全体制御部9は、固体撮像素子3や操作部11等の各処理部から送信されてくる情報(信号)と装置の動作状態とに基づき、各処理部が必要とするパラメータ等の動作情報を算出し、これを送信することで各処理部の動作を制御する。
モニタ部10は、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器(LCD;Liquid Crystal Display)等からなり、固体撮像素子3による撮影画像、すなわちノイズ除去部6や階調変換部7で処理された画像や画像メモリ8に格納されている画像等を表示するものである。モニタ部10は、後述のノイズ除去処理(コアリング処理)等の各種処理結果が反映された画像を表示してもよい。
操作部11は、デジタルカメラ1に対するユーザによる操作指示(指示入力)を行うものであり、例えば電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ等の各種の操作スイッチ群(操作ボタン群)からなる。例えば、上記レリーズスイッチが押下(オン)されることで、撮像動作すなわち固体撮像素子3により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ8等に記録されるといった一連の撮影動作が実行される。
ここで、上記ノイズ除去部6について詳述する。ノイズ除去部6は、画像信号からノイズ成分を除去するためのコアリング処理を行うことで、画像のシャープネスを良好な状態に補正する。この際、ノイズ除去部6は、コアリング係数(上記画像信号のノイズ成分を除去するための係数)を変化させることで適正なノイズ除去を行う。ここでは、特に、高輝度側特性、つまり入力輝度レベルに応じて対数圧縮によるデータ圧縮度合いが異なる対数特性領域での画像(対数画像)に対するコアリング処理において、ローパスフィルタ(LPF)を用いて画像から抽出した低周波成分のレベルに応じて(適応的に)コアリング係数を変化させることで、当該対数画像の階調変換による伸張度合い(局所的な伸張度合いの違い;対数圧縮によるデータ圧縮度合い)に応じた、換言すれば、この対数画像の伸張に伴うノイズ成分の伸張度合いに応じたノイズ除去量を設定してからノイズ除去を行う。
図5は、ノイズ除去部6のブロック構成図である。同図に示すようにノイズ除去部6は、領域判定部61、LPF部62、コアリング処理部63及び係数算出部64を備えている。領域判定部61は、A/D変換部5から入力された画像(この入力画像を基画像Iと表現する)の低輝度側特性及び高輝度側特性、すなわち線形特性領域の画像であるか対数特性領域の画像であるかを判定するものである。領域判定部61は、入力画像の各画素値から撮像時の光電変換特性、つまり後述の(1-1)式又は(1-2)式に示す特性であるかを判定し、当該判定結果(領域判定情報)を係数算出部64に出力する。
LPF部62は、基画像Iに対してガウシアンフィルタ等の線形のLPFによるフィルタ処理を行い、基画像Iから低周波成分を抽出(生成)するとともに、当該低周波成分の情報(低周波成分情報)を係数算出部64に出力するものである。ただし、このLPFは上記線形フィルタに限らず、メディアンフィルタ等の非線形フィルタであってもよい。
コアリング処理部63は、後述する係数算出部64からのコアリング係数情報に基づいてコアリング処理を行うものである。コアリング処理部63は、LPF部62により抽出された低周波成分を基画像Iから減算して得た高周波成分に対して、図6に示す入出力関係を有する特性(以降、コアリング特性630という)に基づくコアリング処理を行う。コアリング特性630における「th」は、係数算出部64において算出されるコアリング係数thを示す。このコアリング処理では、入力が−thより大きくthより小さいときは出力がゼロ(0)となり、入力が−th以下であるときには出力が、入力に対してthを加えた値となり、入力がth以上であるときには出力が、入力に対してthを減じた値となるように変換処理を行う。なお、上記基画像Iからの低周波成分の減算、すなわち基画像Iからの高周波成分の抽出は、減算部651による減算処理によって行われる。また、コアリング処理後の高周波数成分と、上記LPF部62からの低周波成分は加算部652による加算処理によって合成され、合成画像Oとして後段の処理部へ出力される。
係数算出部64は、領域判定部61からの領域判定情報及びLPF部62からの低周波成分情報に基づいて、コアリング処理部63のコアリング処理におけるコアリング係数(th)を算出(設定)するものである。係数算出部64は、最終的な出力画像、ここでは階調変換部7における階調変換処理後に出力される画像において、当該画像の高輝度部が低輝度部と同等のノイズ量となるようにコアリング係数を算出する。具体的には、係数算出部64は、領域判定部61により低輝度側特性の画像であると判定された場合、この低輝度側特性の画像に対して一律のノイズ除去処理を行うべく、低輝度側特性のコアリング係数(このコアリング係数値を「th0」とする)を出力する。ただし、コアリング係数th0は、低輝度側特性の画像全体に対して一律に与えられた或る1つの値(例えば固定値)である。なお、このコアリング係数th0は、コアリング処理部63内に予め記憶(設定)されたものが用いられてもよい。係数算出部64によって算出されたコアリング係数の情報(コアリング係数情報)は、コアリング処理部63に出力される。
また、領域判定部61により高輝度側特性の画像であると判定された場合には、係数算出部64は、画像の伸張度合いに応じたコアリング係数の算出を行う。ところで、階調変換部7で階調変換される前のノイズ量は、高輝度側特性領域の中でもその高輝度部及び低輝度部で同じレベルとなっている。しかしながら、階調変換において線形特性に戻された場合には、この高輝度側特性領域において、高輝度部のノイズ量が低輝度部のノイズ量に比べて大きくなり高輝度部のノイズ(ノイズ成分)が目立つようになる。そこで、階調変換後において、低輝度部及び高輝度部でノイズ量が異なったものとならないよう高輝度部のノイズレベルを低輝度部のノイズレベルと同等にするべく、コアリング係数(ノイズ除去量)を輝度レベルに適応(対応)させて制御し、高輝度部のノイズ量が低輝度部のノイズ量と等しくなる(高輝度ノイズ量=低輝度ノイズ量)ようにする。具体的には、階調変換後(DR圧縮後)において、ノイズ除去部6によるノイズ除去後のノイズ量が高輝度側特性領域において一定となるようにしたいので、該高輝度側特性領域の低輝度部及び高輝度部に注目して、それぞれのノイズ量が同じ(一定)になるようなコアリング係数を算出する。
(コアリング係数算出の考え方)
ここで、上記コアリング係数の算出の考え方について具体的に説明する。
固体撮像素子3による線形/対数画像の光電変換特性は、以下の(1-1)、(1-2)式に示す入力輝度X(対数値ではない)に対する画素値Y(出力)の関係式で表される。
Y=a*X+b(0≦X≦Xth) …(1-1)
Y=α*Ln(X)+β(X>Xth) …(1-2)
但し、記号「a、b、α及びβ」は係数を示し、記号「*」は乗算を示す(以降も同じ)。また、Xth(及びこのXthに対応するYth)は、上記変曲点のX座標(及びY座標)を示す。このような光電変換特性を有する撮影画像は、0≦X≦Xth及びX>Xthの各場合でコアリング係数の算出方法が異なる。
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数thは、上述したように低輝度側特性領域に対して一律に設定した値th0を用いる(以下(1-3)式参照)。
th=th0 …(1-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(1-2)式より、以下の(1-4)式となる。
Y=α*Ln(X)+β+N …(1-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
上記(1-4)式を線形特性(Y=X)に変換すると、以下の(1-5)式となる。但し、記号「/」は除算を示す(以降も同じ)。
Y_LIN=exp((Y−β)/α)
=exp((α*Ln(X)+β+N−β)/α)
=exp(Ln(X)+N/α)
=exp(Ln(X))*exp(N/α)
=X*exp(N/α) …(1-5)
低周波成分をLとすると、ノイズ除去処理を行うための高周波成分Hは、上記(1-5)式より、以下の(1-6)式となる。
H=Y_LIN−L
=X*exp(N/α)−L …(1-6)
高周波成分に対してノイズ除去量ΔNのノイズ除去を行うと、ノイズ除去後の高周波成分H’は、上記(1-6)式より、以下の(1-7)式となる。
H’=X*exp(N/α)−L−ΔN …(1-7)
この高周波成分H’に低周波成分Lを加えることで、ノイズ除去後の線形特性出力Y’_LINを算出する。すなわち、Y’_LINは以下の(1-8)式で与えられる。
Y’_LIN=L+H’
=L+X*exp(N/α)−L−ΔN
=X*exp(N/α)−ΔN …(1-8)
上記線形特性出力Y’_LINを照明成分Bと反射率成分Dとに分割して階調変換出力Y’_drcを算出する。
Y’_LIN=B*D
よって、D=Y’_LIN/B
また、照明成分Bを圧縮して階調変換を行う。階調変換後の照明成分をB’とすると、
Y’_drc=B’*D
=B’*Y’_LIN/B(この式に上記(1-8)式を代入)
=B’*(X*exp(N/α)−ΔN)/B
したがって、階調変換後のノイズ量N’は、以下の(1-9)式で与えられる。
N’=Y’_drc−B’*X/B
=B’*(X*exp(N/α)−ΔN)/B−B’*X/B
=B’/B*(X*exp(N/α)−ΔN−X)
=B’/B*(X*(exp(N/α)−1)−ΔN) …(1-9)
ここで、階調変換後の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれL1、L2とし、これら照明成分L1、L2に対する階調変換後(DR圧縮後)の照明成分をL1’、L2’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2とすると、上記(1-9)式より、以下の(1-10-1)式及び(1-10-2)式が得られる。
N1’=L1’/L1*((exp(N/α)−1)−ΔN1) …(1-10-1)
N2’=L2’/L2*((exp(N/α)−1)−ΔN2) …(1-10-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(1-10-1)式及び(1-10-2)式とN1’=N2’の関係とより、以下の(1-11)式が得られる。
L1’/L1*((exp(N/α)−1)−ΔN1)=L2’/L2*((exp(N/α)−1)−ΔN2) …(1-11)
これを変形すると、
(L1’/L1)/(L2’/L2)*((exp(N/α)−1)−ΔN1)=(exp(N/α)−1)−ΔN2となり、
さらにΔN2について整理すると、以下の(1-12)式となる。
ΔN2=(exp(N/α)−1)/((L1’/L1)/(L2’/L2)*((exp(N/α)−1)−ΔN1)) …(1-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(1-12)式により、高輝度側特性領域におけるコアリング係数thは、以下の(1-13)式で与えられるものとなる。
th=(exp(N/α)−1)/((L1’/L1)/(L2’/L2)*((exp(N/α)−1)−th0)) …(1-13)
このように、デジタルカメラ1は、ノイズ除去部6によって、撮影画像(高輝度側特性の画像)の階調変換における伸張度合いに応じてノイズ除去量に関するパラメータ(コアリング係数)を変化させて、すなわち上記(1-13)式に示すように伸張度合いの違いに対応する例えば低輝度部及び高輝度部の情報(上記低輝度部及び高輝度部の照明成分L1、L2やL1’、L2’)に応じて決定されるコアリング係数thを用いて、撮影画像に対するノイズ除去を行う。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる(伸張度合いに応じて異なるノイズ除去量を設定し、詳しくは伸張度合いが大きいほど大きく、伸張度合いが小さいほど小さくなるようにノイズ除去量を設定する)ことが可能となるので、伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つというように、伸張度合いの違いによってノイズ(ノイズ成分)が目立つことのないようにすることができる。
図8は、第1の実施形態におけるデジタルカメラ1の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS1)。この撮影画像(基画像I)がノイズ除去部6に入力される(ステップS2)。領域判定部61によって、この入力された基画像Iに対する低輝度側特性領域(線形特性領域)であるか高輝度側特性領域(対数特性領域)であるかの領域判定が行われる(ステップS3)。次に、LPF部62によるLPF処理によって基画像Iから低周波成分が抽出され(ステップS4)、係数算出部64によって、領域判定部61からの領域判定情報及びLPF部62からの低周波成分情報に基づいて、対数画像の階調変換における伸張度合いに応じたコアリング係数が算出さる(ステップS5)。この算出されたコアリング係数に基づいて、上記低周波成分が基画像Iから減算されてなる高周波成分に対するコアリング処理がコアリング処理部63によって行われる(ステップS6)。このコアリング処理が施された高周波成分と上記LPF部62からの低周波成分が加算部652によって合成され、合成画像Oとして後段の階調変換部7へ出力される(ステップS7)。そして、階調変換部7によってこの合成画像Oに対する所定の階調変換処理が行われる(ステップS8)。
(実施形態2)
上記第1の実施形態におけるノイズ除去部6は、図7に示すノイズ除去部6aの機能ブロック図の構成であってもよい。すなわち、第2の実施形態に係るノイズ除去部6aは、上記領域判定部61を領域分割抽出部66に変更して、低輝度側特性及び高輝度側特性(線形特性及び対数特性)の光電変換特性毎に異なる処理を行うようにしたものである。ノイズ除去部6aは、領域分割抽出部66、高輝度側特性処理部610m、低輝度側特性処理部610n及び画像合成部67を備えている。領域分割抽出部66は、基画像Iから対数画像(画像I1とする)と線形画像(画像I2とする)とを分割抽出するものである。この分割抽出された画像I1、I2はそれぞれ高輝度側特性処理部610m及び低輝度側特性処理部610nに入力される。
高輝度側特性処理部610mは、LPF部62m、コアリング処理部63m及び係数算出部64mを備えている。LPF部62mは、入力された画像I1に対してLPF処理を施して低周波成分を生成する。係数算出部64mは、LPF部62mからの低周波成分情報に基づいて、上述したように高輝度側特性(画像I1)において高輝度部が低輝度部と同等のノイズ量となるコアリング係数thを算出する。コアリング処理部63mは、係数算出部64mにより算出されたコアリング係数情報(高輝度側特性におけるコアリング係数th(高輝度側特性の低輝度部でのコアリング係数th0の情報も含む))に基づいて、減算部651mによって画像I1から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。当該コアリング処理が施された画像は、加算部652mによる加算処理によってLPF部62mからの低周波成分と合成された後、画像I1’(ノイズ除去画像I1’)として画像合成部67に入力される。
一方、低輝度側特性処理部610nは、LPF部62n及びコアリング処理部63nを備えている。LPF部62nは、入力された画像I2に対してLPF処理を施して低周波成分を生成する。コアリング処理部63nは、減算部651nによって画像I2から低周波成分を減算して得た高周波成分に対するコアリング処理を行う。ただし、この場合、コアリング処理に用いるコアリング係数情報(低輝度側特性に対して一律に設定されたコアリング係数th0)は、例えばコアリング処理部63n内に記憶されている。当該コアリング処理が施された画像は、加算部652nによる加算処理によってLPF部62nからの低周波成分と合成された後、画像I2’(ノイズ除去画像I2’)として画像合成部67に入力される。画像合成部67は、高輝度側特性処理部610m及び低輝度側特性処理部610nから入力されたノイズ除去画像I1’及びI2’を合成(加算処理)して合成画像Oとして後段の処理部へ出力する。
このように、入力されてきた基画像Iを最初に領域分割しておいて、分割したそれぞれの画像に対して処理を行う構成のノイズ除去部6aとすることで、係数算出部64mでのコアリング係数算出において、都度、各画素に対して光電変換特性(低輝度側特性及び高輝度側特性)の違いによる場合分けの処理を行うことなく(都度、場合分けを行う手間が省けて)、そのまま高輝度側特性の全ての画素に対してのコアリング係数を算出することができるようになり、より高速な演算(ノイズ除去処理)が可能となる。
図9は、第2の実施形態におけるデジタルカメラ1の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS21)。この撮影画像(基画像I)がノイズ除去部6aに入力される(ステップS22)。この入力された基画像Iから高輝度側特性領域(画像I1;対数画像)と低輝度側特性領域(画像I2;線形画像)とが領域分割抽出部66によって分割抽出される(ステップS23)。この分割抽出された画像が高輝度側特性領域の画像である場合には(ステップS24のYES)、LPF部62mによるLPF処理によって画像I1から低周波成分が抽出され(ステップS25)、LPF部62mからの低周波成分情報に基づいて、係数算出部64mによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される(ステップS26)。この算出されたコアリング係数に基づいて、上記低周波成分が画像I1から減算されてなる高周波成分に対するコアリング処理がコアリング処理部63mによって行われ(ステップS27)、このコアリング処理が施された高周波成分と上記LPF部62mからの低周波成分が加算部652mによって合成されて画像I1’が得られる(ステップS28)。
上記ステップS24において、分割抽出された画像が低輝度側特性領域の画像である場合には(ステップS24のNO)、LPF部62nによるLPF処理によって画像I2から低周波成分が抽出され(ステップS29)、この低周波成分が画像I2から減算されてなる高周波成分に対するコアリング処理がコアリング処理部63nによって行われる(ステップS30)。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部63n内に固定値として予め記憶されている値(上述のth0)が用いられる。このコアリング処理が施された高周波成分と上記LPF部62nからの低周波成分が加算部652nによって合成されて画像I2’が得られる(ステップS31)。そして、この低輝度側特性領域の画像I2’と上記高輝度側特性領域の画像I1’とが画像合成部67によって合成されて合成画像Oとして後段の階調変換部7へ出力される(ステップS32)。そして、階調変換部7によってこの合成画像Oに対する所定の階調変換処理が行われる(ステップS33)。
(実施形態3)
図10は、第3の実施形態に係る撮像装置の一例であるデジタルカメラ1aの主に撮像処理に関するブロック構成図である。デジタルカメラ1aは、第1の実施形態におけるデジタルカメラ1と比べて、先の実施形態で説明したノイズ除去部6を備えずに、当該ノイズ除去の機能を兼ね備えた階調変換部7aを備える点が異なる。その他の構成については第1の実施形態と同じであり、その説明を省略する。
階調変換部7aは、所定の変換特性に基づいて撮影画像(線形/対数画像)に対する階調変換処理を行うものである。階調変換部7aは、この階調変換処理において、撮影画像全体のコントラスト性は保存したまま局所的にコントラスト改善が図られるように、具体的には、線形/対数画像における線形特性領域でのコントラストを維持しつつ(線形特性領域でのコントラストが強調され過ぎたり失われてしまわないようにして)、対数特性領域におけるコントラストを改善(向上)するようにDR圧縮を行う機能を備えている。階調変換部7aは、入力された線形/対数画像を線形画像と対数画像との画像データに分割し、この線形画像及び対数画像から照明成分及び反射率成分を取り出した後、照明成分を圧縮することで上記DR圧縮を行う。このDR圧縮技術は、人間の視覚特性すなわち明るさに対する色恒常性に着目したRetinex理論(Multi-scale Retinex)に基づくものである。階調変換部7aは、このDR圧縮処理の過程で得られる反射率成分に対してノイズ除去を行う。このような階調変換部7aについて以下、詳述する。
図11は、階調変換部7aにおけるDR圧縮及びノイズ除去に関する機能ブロック図である。同図に示すように階調変換部7aは、領域分割抽出部71、高輝度側特性変換部72m、低輝度側特性変換部72n及び画像合成部73を備えている。領域分割抽出部71は、階調変換部7aに入力された基画像I(線形/対数画像)から対数画像(画像I1)と線形画像(画像I2)とを分割抽出(分離)するものである。具体的には、基画像Iが上記(1-1)式及び(1-2)式で表されるとすると、領域分割抽出部71は、以下の(2-0)式に示す関係式に基づいて基画像Iの画素値を判別することで画像I1と画像I2とに分ける。なお、この画像I1、I2はそれぞれ高輝度側特性変換部72m及び低輝度側特性変換部2nに入力される。
if(I≧Yth)
I1=(I−β)/α、I2=0 (高輝度側特性)
else
I1=0、I2=(I−b)/a (低輝度側特性) …(2-0)
高輝度側特性変換部72mは、高輝度側特性領域の画像の階調変換(DR圧縮)を行うものであり、第1照明成分抽出部74m、第1照明成分圧縮部75m、第1ノイズ除去部76m及び加算・線形変換部77mを備えている。
ところで上記Retinex理論によると、基画像Iは照明成分を照明成分L、反射率成分を反射率成分Rとすると、以下の(2-1)式で表される。
I=L*R …(2-1)
ただし、(2-1)式は、線形画像としての基画像Iに対するものであり、対数画像としての基画像Iに対しては、以下の(2-2)式に示す変形式で表される。
Log(I)=Log(L)+Log(R) …(2-2)
第1照明成分抽出部74mは、画像I1から該画像I1の照明成分L1の対数値であるLog(L1)を抽出する。このLog(L1)の抽出は、以下の(2-3)式に示す変換によって行われる。
Log(L1)=Log(F(I1)) …(2-3)
なお、Log(F(I1))を近似的にF(Log(I1))としてもよい(以下の(2-3)’式参照)。
Log(L1)=F(Log(I1)) …(2-3)’
但し、上記各式中の“F”は、照明成分抽出用の変換を示している。照明成分は画像の低周波成分で近似できるため、当該変換においてローパスフィルタ(LPF;線形フィルタ)やメディアンフィルタ(非線形フィルタ)等の低周波抽出用のフィルタを用いる。
第1照明成分圧縮部75mは、第1照明成分抽出部74mにより抽出された照明成分Log(L1)に対する圧縮処理を行い、照明成分L1を圧縮してなる照明成分L1’の対数値Log(L1’)を出力する。DR圧縮における所定の圧縮率(DR圧縮率)を「c1」とすると、Log(L1’)は以下の(2-4)式で示される。
Log(L1’)=Log(L1)*c1 …(2-4)
第1ノイズ除去部76mは、第1照明成分抽出部74mからの照明成分の情報(照明成分情報)に基づいて、画像I1の反射率成分R1の対数値Log(R1)に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分R1’(ノイズ除去反射率成分画像R1’)の対数値Log(R1’)を出力する。なお、このLog(R1)は、減算部781mによって画像I1からLog(L1)を減算することで得られる。このノイズ除去処理の詳細については後述する。
加算・線形変換部77mは、第1照明成分圧縮部75mから入力されたLog(L1’)と、第1ノイズ除去部76mから入力されたLog(R1’)とを加算処理により合成するとともに、当該合成してなる対数画像を線形画像に変換して出力する。すなわち、画像I1に対する階調変換(DR圧縮及びノイズ除去)後の画像を画像I1’(ノイズ除去画像I1’)とすると、加算・線形変換部77mは、以下(2-5)式の関係から求められる以下(2-6)式で示す画像I1’を出力する。なお、この画像I1’は画像合成部73へ出力される。
Log(I1’)=Log(L1’)+Log(R1’) …(2-5)
I1’=exp(Log(L1’)+Log(R1)) …(2-6)
一方、低輝度側特性変換部72nは、低輝度側特性領域の画像の階調変換(DR圧縮)を行うものであり、第2照明成分抽出部74n、第2照明成分圧縮部75n及び第2ノイズ除去部76nを備えている。第2照明成分抽出部74nは、画像I2から照明成分L2を抽出する。この画像I2からの照明成分L2の抽出処理は以下の(2-7)式で示される。
L2=F(I2) …(2-7)
但し、上記式中の“F”は、照明成分抽出用の変換を示しており、上述と同様、この変換にはローパスフィルタやメディアンフィルタ等の低周波抽出用のフィルタが用いられる。なお、画像I2の反射率成分R2は、上記(2-1)式からR2=I2/L2で求められる。
第2照明成分圧縮部75nは、第2照明成分抽出部74nにより抽出された上記照明成分L2の対数値に対する圧縮処理を行い、照明成分L2を圧縮してなる照明成分L2’を出力する。この場合のDR圧縮において上記第1照明成分圧縮部75mと同じ圧縮率「c1」を用いると、照明成分L2’は、以下(2-8)式で与えられる。
L2’=exp(Log(L2)*c1) …(2-8)
第2ノイズ除去部76nは、第2照明成分抽出部74nからの照明成分情報に基づいて、画像I2の反射率成分R2に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分R2’(ノイズ除去反射率成分画像R2’)を出力する。なお、この反射率成分R2は、除算部781nによって画像I2からL2を除算することで得られる。このノイズ除去処理の詳細については後述する。
第2ノイズ除去部76nにおいてノイズ除去処理が施された画像は、乗算部782nによる乗算処理によって第2照明成分圧縮部75nからの照明成分L2’と合成された後、画像I2’(ノイズ除去画像I2’)として画像合成部73に入力される。画像合成部73は、高輝度側特性変換部72m及び低輝度側特性変換部72nから入力されたノイズ除去画像I1’及びI2’を合成(加算処理)して合成画像Oとして後段の処理部へ出力する。
ここで、上記第1及び第2ノイズ除去部76m、76nについて詳述する。本実施形態では、階調変換処理においてノイズ除去を行うが、コアリング処理に必要な高周波成分が反射率成分として既に抽出されているので、その反射率成分に対してノイズ除去を行えばよい。したがって、第1及び第2ノイズ除去部76m、76nは、それぞれ図12、13のブロック図に示すように、コアリング処理によってノイズ除去を行う機能部分だけで構成されるものとなる。この第1及び第2ノイズ除去部76m、76nでは、入力された反射率成分に対し、それぞれコアリング処理部762m、762nによって図6に示すコアリング特性630に基づくコアリング処理を行う。ただし、第1及び第2ノイズ除去部76m、76nでは、それぞれコアリング処理におけるコアリング係数の設定方法が異なっており、第1ノイズ除去部76mでは、係数算出部761mを備え、該係数算出部761mによって階調変換の伸張度合いに応じて算出されるコアリング係数(th)を使用するが、第2ノイズ除去部76nでは当該階調変換の伸張度合いに応じた算出処理を行うことなく低輝度側特性のコアリング係数(th0)を使用する。
また、第1の実施形態におけるノイズ除去部6の係数算出部64(第2の実施形態におけるノイズ除去部6aの係数算出部64m)では、LPFを用いて抽出した低周波成分を入力としてコアリング係数を算出する構成としているが、第1ノイズ除去部76mの係数算出部761mでは、照明成分L1の対数値Log(L1)が低周波成分に相当するので、このLog(L1)を入力としてコアリング係数を算出する構成となっている。
(コアリング係数算出の考え方)
ここで、第3の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。固体撮像素子3による線形/対数画像の光電変換特性は、第1の実施形態と同様、以下の(3-1)、(3-2)式で表され、上記と同様、0≦X≦Xth及びX>Xthの各場合でコアリング係数の算出方法が異なる。
Y=a*X+b(0≦X≦Xth) …(3-1)
Y=α*Ln(X)+β(X>Xth)…(3-2)
但し、座標(Xth、Yth)はこの光電変換特性の変曲点である。
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となる。ここでは、低輝度側特性領域でのコアリング係数thは、第1の実施形態と同様、低輝度側特性領域に対して一律に設定した値th0を用いる(以下(3-3)式参照)。
th=th0 …(3-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。ここでは、階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(3-2)式より、以下の(3-4)式となる。
Y=α*Ln(X)+β+N …(3-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
上記(3-4)式を線形特性(Y=X)に変換すると、以下の(3-5)となる。
Y_LIN=exp((Y−β)/α)
=exp((α*Ln(X)+β+N−β)/α)
=exp(Ln(X)+N/α)
=exp(Ln(X))*exp(N/α)
=X*exp(N/α) …(3-5)
低周波成分をLとすると、ノイズ除去処理を行うための反射率成分Rは、上記(3-5)式より、以下の(3-6)式で与えられる。
R=Y_LIN/L
=X/L*exp(N/α) …(3-6)
ここでのノイズ除去処理においては、対数画像に対してノイズ除去を行うので、上記(3-6)式を対数特性に変換すると、以下の(3-7)式となる。
Ln(R)=Ln(X/L*exp(N/α))
=Ln(X/L)+Ln(exp(N/α))
=Ln(X/L)+N/α …(3-7)
また、ノイズ除去量ΔNによってノイズ除去を行い、当該ノイズ除去後の反射率成分R’を求める。ノイズ除去後の反射率成分R’は、上記(3-7)より、以下の(3-8)式で与えられる。
Ln(R’)=Ln(X/L)+N/α−ΔN …(3-8)
上記(3-8)式を線形特性に変換すると、以下の(3-9)式となる。
R’=exp(Ln(X/L)+N/α−ΔN)
=exp(Ln(X/L)*exp(N/α−ΔN)
=(X/L)*exp(N/α−ΔN) …(3-9)
この反射率成分R’と、照明成分Lが圧縮された照明成分L’とを合成して、階調変換後の出力Y’を算出する。出力Y’は、上記(3-9)式より、以下の(3-10)式で与えられる。
Y’=L’*R’
=L’*(X/L)*exp(N/α−ΔN) …(3-10)
したがって、階調変換後のノイズ量N’は、上記(3-10)式より、以下の(3-11)式で与えられる。
N’=Y’−L’*(X/L)
=L’*(X/L)*exp(N/α−ΔN)−L’*(X/L)
=L’*(X/L)*(exp(N/α−ΔN)−1) …(3-11)
ここで、ノイズ成分だけを考えるためにノイズ以外の反射率成分が「1」であるとすると、上記(3-11)式においてノイズ以外の反射率成分に該当する項のX/Lに値「1」を代入して、以下の(3-12)式となる。
N’=L’*(exp(N/α−ΔN)−1) …(3-12)
コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後(DR圧縮後)の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、また、階調変換後(DR圧縮後)の低輝度部及び高輝度部の照明成分をそれぞれL1、L2とすると、上記(3-12)式より、以下の(3-13-1)式及び(3-13-2)式が得られる。
N1’=L1*(exp(N/α−ΔN1)−1) …(3-13-1)
N2’=L2*(exp(N/α−ΔN2)−1) …(3-13-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(3-13-1)式及び(3-13-2)式とN1’=N2’の関係とより、以下の(3-14)式が得られる。
L1*(exp(N/α−ΔN1)−1)=L2*(exp(N/α−ΔN2)−1) …(3-14)
この(3-14)式を変形してゆくと、
L1/L2*(exp(N/α−ΔN1)−1)=exp(N/α−ΔN2)−1
L1/L2*(exp(N/α−ΔN1)−1)+1=exp(N/α)/exp(ΔN2)
exp(ΔN2)=exp(N/α)/(L1/L2*(exp(N/α−ΔN1)−1)+1)となり、
ΔN2について整理すると、以下の(3-15)式が得られる。
ΔN2=Ln(exp(ΔN2))
=Ln(exp(N/α)/(L1/L2*(exp(N/α−ΔN1)−1)+1))…(3-15)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(3-15)式により、高輝度側特性領域におけるコアリング係数thは、以下の(3-16)式で与えられるものとなる。
th=Ln(exp(N/α)/(L1/L2*(exp(N/α−th0)−1)+1)) …(3-16)
図14は、第3の実施形態におけるデジタルカメラ1aの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS41)。この撮影画像(基画像I)が階調変換部7aに入力される(ステップS42)。この入力された基画像Iから高輝度側特性領域(画像I1;対数画像)と低輝度側特性領域(画像I2;線形画像)とが領域分割抽出部71によって分割抽出される(ステップS43)。この分割抽出された画像が高輝度側特性領域の画像である場合には(ステップS44のYES)、第1照明成分抽出部74mによって画像I1から照明成分(Log(L1))が抽出され(ステップS45)、第1照明成分抽出部74mからの照明成分情報に基づいて、第1ノイズ除去部76mにおける係数算出部761mによって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される(ステップS46)。この算出されたコアリング係数に基づいて、上記照明成分が画像I1から減算されてなる反射率成分(Log(R1))に対するコアリング処理がコアリング処理部762mによって行われ(ステップS47)、このコアリング処理が施された反射率成分(Log(R1’))と、上記第1照明成分抽出部74mにより抽出された照明成分が第1照明成分圧縮部75mによって圧縮されてなる照明成分(Log(L1’))とが、加算・線形変換部77mによって合成されるとともに対数画像が線形変換されて線形画像としての画像I1’が得られる(ステップS48、S49)。ただし、ステップS48及びS49の動作は、どちらが先に行われてもよい。
上記ステップS44において、分割抽出された画像が低輝度側特性領域の画像である場合には(ステップS44のNO)、第2照明成分抽出部74nによって画像I2から照明成分(L2)が抽出され(ステップS50)、この照明成分が画像I2から除算されてなる反射率成分(R2)に対するコアリング処理が第2ノイズ除去部76nにおけるコアリング処理部762nによって行われる(ステップS51)。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部762n内に固定値として予め記憶されている値(上述のth0)が用いられる。このコアリング処理が施された反射率成分(R2’)と、上記第2照明成分抽出部74nにより抽出された照明成分が第2照明成分圧縮部75nによって圧縮されてなる照明成分(L2’)とが、乗算部782nによって合成されて画像I2’が得られる(ステップS52)。そして、この低輝度側特性領域の画像I2’と上記高輝度側特性領域の画像I1’とが画像合成部73によって合成され、階調変換部7aから合成画像Oとして出力される(ステップS53)。
(実施形態4)
上記デジタルカメラ1やデジタルカメラ1aにおいては、ノイズ除去や階調変換(DR圧縮)などの各種信号処理を該デジタルカメラ内で行う構成としているが、これら信号処理をデジタルカメラ内でなく、デジタルカメラにより得られた撮像データが与えられるPC(パーソナルコンピュータ)やPDA(携帯情報端末)等の情報処理装置(デジタルカメラに対する外部装置)内で行う構成としてもよい。このような構成を備えた撮像システムについて説明する。図15に示すように、撮像システム100は、デジタルカメラ1bと情報処理装置200とを備えている。
デジタルカメラ1bは、デジタルカメラ1と比べて、ノイズ除去部6がなく、入出力I/F部12を備えたものとなっている。その他の構成は同じでありその説明は省略する。入出力I/F部12は、有線或いは無線による所定のネットワーク(例えばLAN)を介して接続された情報処理装置200との間における種々のデータのやり取り(授受;送受信)を行うものである。入出力I/F部12は、情報処理装置200との回線確保処理を行うとともに、画像メモリ8に格納された画像信号を読み出して情報処理装置200(後述の入出力I/F部260)へ送信する。なお、画像メモリ8は、固体撮像素子3によって得られた撮像データ(A/D変換部5からの画像信号)を、情報処理装置200に対する送信前に一時的に格納する場所として使用される。
情報処理装置200は、CPU等からなり情報処理装置200全体の動作制御(データの演算処理)を司る全体制御部210と、デジタルカメラ1bから送信されてきた撮像データ等のデータを一時的に格納する画像メモリ220と、所定のアプリケーションや各種データが格納されるHDD(ハードディスク)230と、画像(映像)等を表示するディスプレイ240と、操作指示入力(データの入力)を行うキーボードやマウスからなる操作部250と、外部すなわちデジタルカメラ1b(入出力I/F部12)とのデータのやり取りを行う入出力I/F部260とを備えている。このような情報処理装置200は、全体制御部210(例えばこの全体制御部210内に備えたノイズ除去部や階調変換部)によって、デジタルカメラ1bから送信されてきた撮像データに対し、上記各実施形態と同様にノイズ除去処理(コアリング処理)や階調変換処理(DR圧縮)を行う。この処理結果の情報(画像)はHDD230等に記録されるとともに、ディスプレイ240上に表示される。なお、撮像データをディスプレイ240に表示させて逐次その処理内容を確認しながらノイズ除去処理や階調変換処理を行う構成としてもよい。また、デジタルカメラ1b及び情報処理装置200間のデータのやり取りを行う構成は、上記構成に限らず、例えばメモリカード等の記録媒体(ストレージメディア)を介して行う構成であってもよい。
図16は、第4の実施形態における撮像システム100の主にノイズ除去に関する動作の一例を示すフローチャートである。まず、情報処理装置200からデジタルカメラ1bに対して画像取得の指示信号が送信される(逆に、デジタルカメラ1bから情報処理装置200に当該指示信号が送信されてもよい)と(ステップS61)、情報処理装置200及びデジタルカメラ1b(各入出力I/F部)により、相互の回線を確保するための処理が開始される(ステップS62)。回線が確保されなければ(ステップS63のNO)、ディスプレイ240(又はモニタ部10)にエラー表示がなされ(ステップS64)、ステップS62に戻って引き続き回線確保処理が行われる。回線が確保されると(ステップS63のYES)、情報処理装置200からデジタルカメラ1bに対して撮影画像の信号出力を要求する信号が送信され(この逆でもよい)(ステップS65)、デジタルカメラ1bから情報処理装置200へ画像データが送信される(ステップS66)。情報処理装置200では、この画像データを受けて、コアリング係数等の各種パラメータの設定処理が行われ(ステップS67)、このパラメータに基づいて、上記ノイズ除去処理(コアリング処理)や階調変換処理(DR圧縮)等の各種信号処理が行われる(ステップS68)。そして、この処理結果がディスプレイ240(又はモニタ部10)に表示されるとともに、処理後の画像データがHDD230に格納される(ステップS69)。上記コアリング係数等の各種パラメータが変更される場合には(ステップS70のYES)、パラメータの再設定処理がなされ(ステップS71)、上記ステップS68に戻ってこの再設定されたパラメータに基づいて上記信号処理が行われる。パラメータが変更されない場合には(ステップS70のNO)、フロー終了となる。
ところで、上記各実施形態では、複数の異なる光電変換特性を有する固体撮像素子3として、低輝度側が線形特性であり高輝度側が対数特性である(線形/対数特性の)光電変換特性を有するイメージセンサを用いているが、これに限らず、例えば、可変蓄積時間型撮像センサや可変蓄積容量型撮像センサ(以降、これら撮像センサのことを、適応型撮像センサという)を用いてもよい。すなわち、この適応型撮像センサは、図17に示すように低輝度側及び高輝度側共に線形の光電変換特性(第1線形特性171、第2線形特性172)を有しており(座標(Xth、Yth)は変曲点である)、輝度レベルに応じて各線形特性のグラフ上の傾きが変化する。この変化は所定の出力レベルにおいて行われ、上記線形/対数特性の撮像センサと同様、複数の異なる光電変換特性となる。この適応型撮像センサにおいても、上記各実施形態と同様のノイズ除去処理が可能であるものの、高輝度側特性が対数特性ではなく線形特性となっているので、これに伴い第1の実施形態(第2の実施形態を含む)、及び第3の実施形態について以下に示す変更が必要となる。この変更について、以下、実施形態5及び実施形態6において説明する。第4の実施形態については当該変更点が同様に適用されるので、その説明を省略する。
(実施形態5)
まず、第1の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、ノイズ除去部6(6a)におけるコアリング係数の算出の考え方の変更が必要となる。ただし、このノイズ除去部における構成(機能ブロック構成)については変更不要である。
(係数の算出の考え方)
ここで、第5の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。第1の実施形態の場合と異なり、本実施形態の適応型撮像センサの光電変換特性は、以下の(4-1)、(4-2)式に示す入力輝度Xに対する画素値Y(出力)の関係式で表される(基画像Iの光電変換特性に相当)。
Y=a1*X+b1(0≦X≦Xth) …(4-1)
Y=a2*X+b2(X>Xth) …(4-2)
但し、座標(Xth、Yth)がこの光電変換特性の変曲点である。なお、この(4-1)式及び(4-2)式の光電変換特性を有する固体撮像素子3によって得られる撮影画像のことを線形/線形画像という。
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となり、第1の実施形態と同様、コアリング係数thは、値th0となる(以下(4-3)式参照)。
th=th0 …(4-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(4-2)式より、(4-4)式となる。
Y=a2*X+b2+N …(4-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
上記(4-4)式を線形特性(Y=X)に変換し、線形特性出力Y_LINを算出すると、以下の(4-5)式となる。
Y_LIN=(Y−b2)/a2
=(a2*X+b2+N−b2)/a2
=X+N/a2 …(4-5)
低周波成分をLとすると、ノイズ除去処理を行うための高周波成分Hは、上記(4-5)式より、以下の(4-6)式で与えられる。
H=Y_LIN−L
=X+N/a2−L …(4-6)
高周波成分に対してノイズ除去量ΔNのノイズ除去を行うと、ノイズ除去後の高周波成分H’は、上記(4-6)式より、以下の(4-7)式となる。
H’=X+N/a2−L−ΔN …(4-7)
この高周波成分H’に低周波成分Lを加えることで、ノイズ除去後の線形特性出力Y’_LINを算出する。すなわち、Y’_LINは以下の(4-8)式で与えられる。
Y’_LIN=L+H’
=L+X+N/a2−L−ΔN
=X+N/a2−ΔN …(4-8)
上記線形特性出力Y’_LINを照明成分Bと反射率成分Dとに分割して階調変換出力Y’_drcを算出する。
Y’_LIN=B*D
よって、D=Y’_LIN/B
また、照明成分Bを圧縮して階調変換を行う。階調変換後の照明成分をB’とすると、
Y’_drc=B’*D
=B’*Y’_LIN/B
したがって、階調変換後のノイズ量N’は、以下の(4-9)式で与えられる。
N’=Y’_drc−B’*X/B
=B’*Y’_LIN/B−B’*X/B
=B’/B*(Y’_LIN−X)
=B’/B*(X+N/a2−ΔN−X)
=B’/B*(N/a2−ΔN) …(4-9)
ここで、階調変換後(DR圧縮後)の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれL1、L2とし、これら照明成分L1、L2に対する階調変換後(DR圧縮後)の照明成分をそれぞれL1’、L2’とし、コアリング処理による当該低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2とすると、上記(4-9)式より、以下の(4-10-1)式及び(4-10-2)式が得られる。
N1’=L1’/L1*(N/a2−ΔN1) …(4-10-1)
N2’=L2’/L2*(N/a2−ΔN2) …(4-10-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(4-10-1)式及び(4-10-2)式とN1’=N2’の関係とより、以下の(4-11)式が得られる。
L1’/L1*(N/a2−ΔN1)=L2’/L2*(N/a2−ΔN2) …(4-11)
この(4-11)式を変形してゆくと、
(L1’/L1)/(L2’/L2)*(N/a2−ΔN1)=N/a2−ΔN2となり、ΔN2について整理すると、以下の(4-12)式が得られる。
ΔN2=N/a2−(L1’/L1)/(L2’/L2)*(N/a2−ΔN1) …(4-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(4-12)式により、高輝度側特性領域におけるコアリング係数thは、以下の(4-13)式で与えられるものとなる。
th=N/a2−(L1’/L1)/(L2’/L2)*(N/a2−th0) …(4-13)
なお、本第5の実施形態におけるノイズ除去に関する動作のフローは、上記図8に示すフローと同様であり、その説明を省略する。
(実施形態6)
次に、第3の実施形態に対する変更点について説明する。ここでは、高輝度側特性が対数特性から線形特性に変更されるのに伴い、階調変換部7aにおける構成の変更及び第1ノイズ除去部76mにおけるコアリング係数の算出の考え方の変更が必要となる。まず階調変換部7aの構成が変更された階調変換部7bについて説明する。
図18は、第3の実施形態において適応型撮像センサを用いる場合の階調変換部7bの機能ブロック図である。同図に示すように階調変換部7bは、第3の実施形態における階調変換部7aと比べて、領域分割抽出部71’、高輝度側特性変換部72m’及び画像合成部73’が異なる。その他の構成については同じであり、その説明を省略する。
ここでの階調変換部7bに入力される基画像Iは、第5の実施形態と同様、(4-1)式及び(4-2)式の関係の光電変換特性を有する画像(線形/線形画像)である。領域分割抽出部71’は、この基画像Iから高輝度側特性の線形画像(画像I1)と、低輝度側特性の線形画像(画像I2)とを分割抽出(分離)する。領域分割抽出部71’は、以下の(5-1)式に示す関係式に基づいて基画像Iの画素値を判別することで画像I1と画像I2とに分ける。なお、この画像I1、I2はそれぞれ高輝度側特性変換部72m’及び低輝度側特性変換部2nに入力される。
if(I≧Yth)
I1=(I−b2)/a2、I2=0 (高輝度側特性)
else
I1=0、I2=(I−b1)/a1 (低輝度側特性) …(5-1)
高輝度側特性変換部72m’は、第1照明成分抽出部74m’、第1照明成分圧縮部75m’及び第1ノイズ除去部76m’を備えている。第1照明成分抽出部74m’は、線形画像としての画像I1から照明成分L1を抽出する。この画像I1からの照明成分L1の抽出処理は以下の(5-2)式で示される。
L1=F(I1) …(5-2)
但し、上記式中の“F”は、第3の実施形態と同様、照明成分抽出用の変換であり、低周波抽出用のフィルタが用いられる。
第1照明成分圧縮部75m’は、第1照明成分抽出部74m’により抽出された照明成分L1に対する圧縮処理を行い、照明成分L1を圧縮してなる照明成分L1’を出力する。この場合のDR圧縮における所定の圧縮率を「c3」で表すと、照明成分L1’は以下(5-3)式で与えられる。
L1’=exp(Log(L1)*c3) …(5-3)
第1ノイズ除去部76m’は、第1照明成分抽出部74m’からの照明成分情報に基づいて、画像I1の反射率成分R1に対するノイズ除去処理を行い、当該ノイズ除去がなされた反射率成分R1’(ノイズ除去反射率成分画像R1’)を出力する。なお、この反射率成分R1は、除算部781m’によって画像I1からL1を除算することで得られる。このノイズ除去処理の詳細については後述する。
第1ノイズ除去部76m’においてノイズ除去処理が施された画像は、乗算部77m’による乗算処理によって第1照明成分圧縮部75m’からの照明成分L1’と合成された後、画像I1’(ノイズ除去画像I1’)として画像合成部73’に入力される。画像合成部73’は、高輝度側特性変換部72m’及び低輝度側特性変換部72nから入力された、いずれも線形画像としてのノイズ除去画像I1’及びI2’を合成(加算処理)して合成画像Oとして後段の処理部へ出力する。
ここで、上記第1ノイズ除去部76m’について詳述する。ノイズ除去処理の考え方は、第3の実施形態における第1ノイズ除去部76mと同じであるが、反射率成分とコアリング係数算出用の入力が線形特性となる。すなわち、第1ノイズ除去部76m’は、図19に示す構成となっており、照明成分L1の情報に基づいて係数算出部761m’で算出されたコアリング係数を用いて、コアリング処理部762m’によって反射率成分R1に対するコアリング処理を行う構成となっている。
(係数の算出の考え方)
ここで、第6の実施形態におけるコアリング係数の算出の考え方について具体的に説明する。本実施形態の適応型撮像センサの光電変換特性は、上記第5の実施形態と同様、以下の(6-1)、(6-2)式に示す入力輝度Xに対する画素値Y(出力)の関係式で表される。
Y=a1*X+b1(0≦X≦Xth) …(6-1)
Y=a2*X+b2(X>Xth) …(6-2)
[0≦X≦Xthの場合]
低輝度側特性領域におけるコアリング係数の算出となり、第5の実施形態と同様、コアリング係数thは、値th0となる(以下(6-3)式参照)。
th=th0 …(6-3)
[X>Xthの場合]
高輝度側特性領域におけるコアリング係数の算出となる。この場合も階調変換後のノイズ量が、高輝度側特性領域における低輝度部及び高輝度部で等しくなるような条件を導き出す。撮像時に画像信号に対してノイズが付加される場合を考えると、上記(6-2)式より、(6-4)式となる。
Y=a2*X+b2+N …(6-4)
但し、N:画像信号に含まれているノイズ(高輝度部、低輝度部共に同じ)
上記(6-4)式を線形特性(Y=X)に変換し、線形特性出力Y_LINを算出すると、以下の(6-5)式となる。
Y_LIN=(Y−b2)/a2
=(a2*X+b2+N−b2)/a2
=X+N/a2 …(6-5)
低周波成分をLとすると、ノイズ除去処理を行うための反射率成分Rは、上記(6-5)式より、以下の(6-6)式で与えられる。
R=Y_LIN/L
=(X+N/a2)/L …(6-6)
ノイズ除去量ΔNによってノイズ除去を行うと、ノイズ除去後の反射率成分R’は、上記(6-6)より、以下の(6-7)式で与えられる。
R’=(X+N/a2)/L−ΔN …(6-7)
この反射率成分R’と、照明成分Lが圧縮された照明成分L’とを合成して、階調変換後の出力Y’を算出する。出力Y’は、上記(6-7)式より、以下の(6-8)式で与えられる。
Y’=L’*R’
=L’*((X+N/a2)/L−ΔN) …(6-8)
したがって、階調変換後のノイズ量N’は、上記(6-8)式より、以下の(6-9)式で与えられる。
N’=Y’−L’*(X/L)
=L’*((X+N/a2)/L−ΔN)−L’*(X/L)
=L’*(X/L)+L’*(N/a2)/L−L’*ΔN−L’*(X/L)
=L’*((N/a2)/L−ΔN) …(6-9)
コアリング処理による低輝度部及び高輝度部のノイズ除去量をΔN1、ΔN2として、これらの値でノイズ除去を行った場合のノイズ量を考える。階調変換後(DR圧縮後)の低輝度部及び高輝度部のノイズをそれぞれN1’、N2’とし、上記線形特性出力における低輝度部及び高輝度部の照明成分をそれぞれL1、L2とし、これら照明成分L1、L2に対する階調変換後(DR圧縮後)の照明成分をそれぞれL1’、L2’とすると、上記(6-9)式より、以下の(6-10-1)式及び(6-10-2)式が得られる。
N1’=L1’*((N/a2)/L1−ΔN1) …(6-10-1)
N2’=L2’*((N/a2)/L2−ΔN2) …(6-10-2)
これらから、N1’=N2’となるΔN1、ΔN2の関係を導き出す。すなわち、(6-10-1)式及び(6-10-2)式とN1’=N2’の関係とより、以下の(6-11)式が得られる。
L1’*((N/a2)/L1−ΔN1)=L2’*((N/a2)/L2−ΔN2) …(6-11)
この(6-11)式を変形すると、
L1’/L2’*((N/a2)/L1−ΔN1)= (N/a2)/L2−ΔN2となり、ΔN2について整理すると、以下の(6-12)式が得られる。
ΔN2=(N/a2)/(L2*(L1’/ L2’)*((N/a2)/L1−ΔN1)) …(6-12)
したがって、この考え方を本実施形態のコアリング係数の算出に適用すると、上記(6-12)式により、高輝度側特性領域におけるコアリング係数thは、以下の(6-13)式で与えられるものとなる。
th=(N/a2)/(L2*(L1’/ L2’)*((N/a2)/L1−th0)) …(6-13)
図20は、第6の実施形態におけるデジタルカメラ1aの主にノイズ除去に関する動作の一例を示すフローチャートである。まず、固体撮像素子3による撮像によって撮影画像が得られる(ステップS81)。この撮影画像(基画像I)が階調変換部7bに入力される(ステップS82)。この入力された基画像Iから高輝度側特性領域(画像I1;線形画像)と低輝度側特性領域(画像I2;線形画像)とが領域分割抽出部71’によって分割抽出される(ステップS83)。この分割抽出された画像が高輝度側特性領域の画像である場合には(ステップS84のYES)、第1照明成分抽出部74m’によって画像I1から照明成分(L1)が抽出され(ステップS85)、第1照明成分抽出部74m’からの照明成分情報に基づいて、第1ノイズ除去部76m’における係数算出部761m’によって対数画像の階調変換における伸張度合いに応じたコアリング係数が算出される(ステップS86)。この算出されたコアリング係数に基づいて、上記照明成分が画像I1から除算されてなる反射率成分(R1)に対するコアリング処理がコアリング処理部762m’によって行われ(ステップS87)、このコアリング処理が施された反射率成分(R1’)と、上記第1照明成分抽出部74m’により抽出された照明成分が第1照明成分圧縮部75m’によって圧縮されてなる照明成分(L1’)とが、乗算部77m’によって合成されて画像I1’が得られる(ステップS88)。
上記ステップS84において、分割抽出された画像が低輝度側特性領域の画像である場合には(ステップS84のNO)、第2照明成分抽出部74nによって画像I2から照明成分(L2)が抽出され(ステップS89)、この照明成分が画像I2から除算されてなる反射率成分(R2)に対するコアリング処理が第2ノイズ除去部76nにおけるコアリング処理部762nによって行われる(ステップS90)。ただし、ここでのコアリング処理におけるコアリング係数は、例えばコアリング処理部762n内に固定値として予め記憶されている値(上述のth0)が用いられる。このコアリング処理が施された反射率成分(R2’)と、上記第2照明成分抽出部74nにより抽出された照明成分が第2照明成分圧縮部75nによって圧縮されてなる照明成分(L2’)とが、乗算部782nによって合成されて画像I2’が得られる(ステップS91)。そして、この低輝度側特性領域の画像I2’と上記高輝度側特性領域の画像I1’とが画像合成部73’によって合成され、階調変換部7bから合成画像Oとして出力される(ステップS92)。
以上のように、上記各実施形態の撮像装置(デジタルカメラ1、1a)(撮像システム100)によれば、ノイズ除去部6、6a(第1ノイズ除去部76m、76m’)によって、複数の異なる光電変換特性を有する固体撮像素子3による撮影画像の階調変換における伸張度合いに応じて、該撮影画像のノイズ除去量に関するパラメータを変化させて該撮影画像に対するノイズ除去が行われる。これにより、ノイズ除去において、階調変換における伸張度合いに応じてノイズ除去量を変化させる(伸張度合いに応じて異なるノイズ除去量を設定する)ことが可能となるので、例えば伸張度合いの小さい低輝度部の画像に対し、伸張度合いの大きい高輝度部の画像においてノイズが目立つといったように、伸張度合いの違いによってノイズ(ノイズ成分)が目立つことのないようにすることができ、ひいては高画質な撮影画像を得ることができる。
また、ノイズ除去部6、6a(第1ノイズ除去部76m、76m’)は、係数算出部64、64m、761m、761m’と、コアリング処理部63、63m、762m、762m’とを備えており、また、撮影画像の輝度レベルに応じて階調変換時の伸張度合いが変化することから、係数算出部64、64m、761m、761m’によって、撮影画像の伸張度合いに相当する輝度レベルに応じて、すなわち例えば低輝度部の画像であるか高輝度部の画像であるかに応じてノイズ除去量に関するパラメータとしてのコアリング係数(th)が算出され、コアリング処理部63、63m、762m、762m’によって、当該係数算出部により算出したコアリング係数に基づいて、撮影画像からノイズ成分が除去されるコアリング処理が行われるので、係数算出部64、64m、761m、761m’により算出したコアリング係数に基づいてコアリング処理部63、63m、762m、762m’によりコアリング処理を行うという一般的なノイズ除去手法を利用して、すなわち簡易な構成によって、当該伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになる。
また、ノイズ除去部6、6aは、LPF部62、62m(低周波成分抽出手段)と、減算部651、651m(高周波成分抽出手段)とを備えており、LPF部62、62mによって撮影画像から低周波成分が抽出され、減算部651、651mによって撮影画像から高周波成分が抽出される。そして、係数算出部64、64mによって輝度レベルに相当する低周波成分のレベルに応じてコアリング係数(th)が算出され、コアリング処理部63、63mによって低周波成分のレベルに応じて算出されたコアリング係数に基づいて高周波成分に対するコアリング処理が行われるので、一般的なLPF等の低周波成分抽出手段を用いて撮影画像から抽出された低周波成分の情報(レベル情報)を利用して、コアリング係数の算出を容易に行うことができるとともに、当該算出されたコアリング係数に基づくノイズ除去を、撮影画像から抽出された高周波成分に対するコアリング処理を行うことで容易に行うことができる。
また、撮像装置は、撮影画像から照明成分を抽出する第1照明成分抽出部74m、74m’(照明成分抽出手段)と、撮影画像から反射率成分を抽出する減算部781m、除算部781m’(反射率成分抽出手段)とを備えており、第1ノイズ除去部76m、76m’が備える係数算出部761m、761m’によって、輝度レベルに相当する照明成分のレベルに応じてコアリング係数(th)が算出され、同じく第1ノイズ除去部76m、76m’が備えるコアリング処理部762m、762m’によって、照明成分のレベルに応じて算出されたコアリング係数に基づいて反射率成分に対するコアリング処理が行われるので、ノイズ除去に際して、照明成分及び反射率成分の情報を用いる、すなわち本願発明の如く、複数の光電変換特性を持つ撮像センサを用いて広ダイナミックレンジ画像を撮像する撮像装置に好適に用いられる階調変換処理であるDR圧縮処理の過程で生成される照明成分及び反射率成分を用いる構成であるので、階調変換部7a、7b内(階調変換処理)に、第1ノイズ除去部76m、76m’(ノイズ除去処理)を含めることが可能となり、ノイズ除去専用の処理装置を別途設けることなく、処理構成を簡略化することができる。また、ノイズ除去処理における演算量(計算量)が少なくなり、処理時間を短縮することができる。
また、固体撮像素子3における複数の異なる光電変換特性において、係数算出部64、64m、761m、761m’は、高輝度側特性に対するコアリング係数として、階調変換後のノイズ量が該高輝度側特性における低輝度部と高輝度部とで等しくなるようなコアリング係数(th)を算出する。このように、高輝度側特性における低輝度部と高輝度部とのノイズ量が等しくなるようなコアリング係数を算出するので、階調変換による伸張度合いが異なる高輝度側特性に対するコアリング係数を容易に(より簡易な演算方法で)求めることができるとともに、この算出したコアリング係数に基づいて、低輝度部及び高輝度部でノイズ量に違いが生じないようにする、すなわち、高輝度部のノイズ量が低輝度部のノイズ量よりも大きくなって高輝度部のノイズが目立つといったことのないようにすることができる。
また、固体撮像素子3は、入射光量に対して電気信号が線形的に変換されて出力される線形特性(線形光電変換特性)と、該入射光量に対して電気信号が対数的に変換されて出力される対数特性(対数光電変換特性)とからなる光電変換特性を有するものであるので、当該線形特性及び対数特性を有する固体撮像素子3によって得られる撮影画像(線形/対数画像)に対し、階調変換における伸張度合いに応じて、すなわち対数画像の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
また、固体撮像素子3は、入射光量に対して電気信号が線形的に変換されて出力される第1線形特性171(第1の線形光電変換特性)と、該第1線形特性171とグラフ上の傾きが異なる第2線形特性172(第2の線形光電変換特性)とからなる光電変換特性を有するものであるので、当該第1線形特性171及び第2線形特性172を有する固体撮像素子3によって得られる撮影画像(線形/線形画像)に対し、階調変換における伸張度合いに応じて、すなわち第2線形特性172の階調変換における伸張度合いに応じてノイズ除去量を変化させるノイズ除去が容易に行えるようになり、ひいては高画質な撮影画像を得ることができる。
さらに、撮像システム100において、データ授受手段(入出力I/F部12、260)を用いてデジタルカメラ1bと撮影画像データの授受が可能に構成された情報処理装置200によって、撮影画像に対する上記ノイズ除去処理を行うことができるので、ノイズ除去を行う場所に関する自由度が大きくなるとともに、PC等の情報処理装置200を用いて、より高速な演算処理(ノイズ除去処理)が行える構成を容易に実現することが可能となる。
なお、本発明は、以下の態様をとることができる。
(A)上記第1の実施形態においては、ノイズ除去部6によるノイズ除去処理、階調変換部7による階調変換処理の順で処理を行っているが、この順序を逆にして階調変換処理、ノイズ除去処理の順で処理を行ってもよい。ただしこの場合、ノイズ除去部6に入力される画像に含まれるノイズ成分は階調変換処理に応じて変動する(階調変換による伸張度合いの違いによってノイズ量が異なってくる)ので、ノイズ除去の際には、この階調変換による変動を考慮したノイズ除去量を設定して処理を行う必要がある。
(B)上記各実施形態においては、撮影画像を異なる光電変換特性に対応させて低輝度側特性領域と高輝度側特性領域との画像に分けておき、高輝度側特性領域における低輝度及び高輝度の輝度レベルの画像(部分画像)それぞれの伸張度合いに応じてコアリング係数を算出し、当該低輝度部及び高輝度部でのノイズ量に差が生じないようにしているが、これに限らず、高輝度側特性領域を上記2つより多い輝度部、例えば低輝度部、中輝度部及び高輝度部の3つの輝度レベルの画像において当該3つの輝度部全てにおける、或いは中輝度部及び高輝度部におけるノイズ量に差が生じないようにコアリング係数を算出するような構成としてもよい。また、低輝度側特性領域においても、例えば階調変換により伸張度合いの違いによりノイズが目立つような場合、上記高輝度側特性領域と同様のノイズ除去手法を適用することができる(高輝度側特性領域及び低輝度側特性領域の両方に対して適用してもよい)。
(C)上記各実施形態においては、固体撮像素子3の光電変換特性は、2つの異なる光電変換特性(線形特性及び対数特性、或いは第1線形特性及び第2線形特性)からなるが、3つ以上の異なる光電変換特性からなっていてもよい。この場合、各光電変換特性(例えば各光電変換特性のうちの、階調変換による伸張度合いの違いによりノイズが目立つ光電変換特性)に対しても上記と同様のノイズ除去手法が適用される。
(D)上記各実施形態においては、伸張度合いの大きい高輝度部のノイズ量を、この高輝度部よりも伸張度合いが小さい低輝度部のノイズ量と等しくするといったように、伸張度合いに応じてコアリング係数(ノイズ除去量)を変化させる(設定する)構成としているが、これに限らず、各部つまり局所的な伸張度合い(例えば伸張率;伸張量)に対応するノイズ量(ノイズ除去量)を設定するといったように、伸張度合いに対応させて(応じて)コアリング係数を謂わば段階的に変化させる構成としてもよい。