JP4678218B2

JP4678218B2 - 撮像装置及び画像処理方法

Info

Publication number: JP4678218B2
Application number: JP2005086879A
Authority: JP
Inventors: 幸一掃部; 一睦佐藤; 哲也片桐
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2005-03-24
Filing date: 2005-03-24
Publication date: 2011-04-27
Anticipated expiration: 2025-03-24
Also published as: US20060215908A1; JP2006270622A

Description

本発明は、異なる２つ以上の特性領域からなる光電変換特性を有する撮像センサを用いた撮像装置であって、特にこの撮像センサにより得られる画像に対する色処理、及び色処理の前段階における処理に関する画像処理方法を用いる撮像装置に関するものである。

近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジを拡大させることが１つの大きなテーマとなっている。このダイナミックレンジの拡大化が図られる撮像センサに関し、入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサが知られている（例えば特許文献１参照）。この撮像センサのことを「ＬＯＧセンサ」ともいう。また、このＬＯＧセンサによる撮像により得られる線形特性及び対数特性を有した画像のことを線形／対数画像と称する。
特開２００２−７７７３３号公報

ところで、一般的に、撮影画像に対しては色補間処理や色補正処理といった色処理（画像処理）が行われる。この色処理は、従来における１種類すなわち線形特性領域のみからなる光電変換特性を有する撮像センサによって撮影された線形画像を対象としたものであり、線形特性領域及び対数特性領域といった異なる光電変換特性を有するＬＯＧセンサにより撮影された線形／対数画像を対象としていない。すなわち、当該ＬＯＧセンサによる線形／対数画像データでは、所定の出力レベルを境として光電変換特性が変化するため、色処理において異なる複数の画素（色）を用いて処理する場合、当該画素の光電変換特性が異なる場合があり、これを従来の色処理方法を用いて同一の光電変換特性として処理しようとすると、被写体の色とは異なる色情報が出力される所謂「色ズレ」が生じてしまうなどして、従来得られていた色処理による効果を得ることができない。

本発明は、上記事情に鑑みてなされたもので、ＬＯＧセンサ（線形／対数画像）に対する専用の色処理部を別途備えることなく、従来の色処理部（色処理方法）を用いて色処理を行うことができ、色ズレ等の不具合の発生が防止又は低減され、ひいては撮影画像（線形／対数画像）の高画質化を図ることができる撮像装置及びそれに用いる画像処理方法を提供することを目的とする。

本発明の請求項１に係る撮像装置は、異なる光電変換特性を２つ以上有する固体撮像素子と、前記固体撮像素子からの撮像信号を処理する画像処理部とを備えた撮像装置であって、前記画像処理部は、前記撮像信号に対する、前記異なる光電変換特性を同一にする又は同一に近づける階調変換処理を行う階調変換処理部と、前記撮像信号に対する、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理を行う色処理部とを備え、前記階調変換処理部は、前記階調変換処理として、前記撮像信号を対数特性領域の撮像信号と線形特性領域の撮像信号とに分割し、前記対数特性領域の撮像信号及び線形特性領域の撮像信号に対する照明成分の圧縮処理を行うダイナミックレンジ圧縮処理を行い、前記階調変換処理部による階調変換処理の後に、前記色処理部による色処理を行うことを特徴とする。

上記構成によれば、固体撮像素子は異なる光電変換特性を２つ以上有するものとされ、固体撮像素子からの撮像信号が画像処理部により処理される。そして、画像処理部が備える階調変換処理部によって、固体撮像素子からの撮像信号に対して、異なる光電変換特性を同一の光電変換特性にする又は同一の光電変換特性となるよう近づける階調変換処理が行われ、また、画像処理部が備える色処理部によって、当該撮像信号に対して、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理が行われる。この階調変換処理及び色処理は、階調変換処理の後に色処理を行うという順序で実行される。このように、画像データの光電変換特性を同一又は略同一の特性に統一した後、当該画像データに対する色処理を行う構成とするので、ＬＯＧセンサ（線形／対数画像）に対する専用の色処理部を別途備えることなく、従来の色処理部（色処理方法）を用いて色処理を行うことができ、色ズレ等の不具合の発生が防止又は低減され、ひいては撮影画像（線形／対数画像）の高画質化を図ることができる。

また、階調変換処理部により、異なる光電変換特性を同一にする又は同一に近づける階調変換処理として、前記撮像信号を対数特性領域の撮像信号と線形特性領域の撮像信号とに分割し、前記対数特性領域の撮像信号及び線形特性領域の撮像信号に対する照明成分の圧縮処理を行うダイナミックレンジ圧縮処理が行われるので、当該異なる光電変換特性を同一にする又は同一に近づけることができるだけでなく、線形／対数画像に対して、低輝度側のコントラストを維持しつつ高輝度側のコントラスト向上（改善）を図ることが可能となる。

請求項２に係る撮像装置は、請求項１において、前記階調変換処理部は、前記異なる光電変換特性を同一にする又は同一に近づける階調変換処理として、高輝度側の光電変換特性を低輝度側の光電変換特性と一致させる又は近似させる処理を行うことを特徴とする。この構成によれば、階調変換処理部によって、異なる光電変換特性を同一にする又は同一に近づける階調変換処理として、高輝度側の光電変換特性を低輝度側の光電変換特性と一致させる又は近似させる処理が行われるので、例えば対数特性（高輝度側）と線形特性（低輝度側）とからなる光電変換特性を有する画像データを、線形特性の画像データに統一して扱うことができ、当該線形／対数画像に対する色処理を、従来の線形画像用の色処理部（色処理方法）を用いて行うことが可能となる。

請求項３に係る撮像装置は、請求項１又は２において、ホワイトバランス補正処理を行うホワイトバランス補正部をさらに備え、前記ホワイトバランス補正部は、当該ホワイトバランス補正処理を前記階調変換処理前に行うことを特徴とする。この構成によれば、ホワイトバランス補正部によって、ホワイトバランス補正処理が階調変換処理前に行われるので、階調変換処理前のホワイトバランス補正処理において、例えば線形／対数画像におけるＲＧＢ各色毎に異なる光電変換特性をいずれかの光電変換特性に一致させるといった処理を行うことで、線形／対数画像の階調変換処理或いはこれ以後の画像処理における扱いを容易なものとすることができる。

請求項４に係る撮像装置は、請求項３において、前記ホワイトバランス補正部は、ＲＧＢ各色の光電変換特性を該ＲＧＢ各色における基準となる色の光電変換特性に一致させるホワイトバランス補正処理を行うことを特徴とする。この構成によれば、ホワイトバランス補正部によって、ＲＧＢ各色の光電変換特性を該ＲＧＢ各色における基準となる色、例えばＧ色の光電変換特性に一致させるホワイトバランス補正処理が行われるので、ＲＧＢ各色毎に異なる光電変換特性を扱うことなく、すなわち、ＲＧＢ各色の画像データにおける線形画像と対数画像とをそれぞれ同じものとして纏めて扱うことができ、階調変換処理或いはこれ以後の画像処理における処理の効率化（簡易化、高速化）を図ることが可能となる。

請求項５に係る画像処理方法は、異なる光電変換特性を２つ以上有する固体撮像素子からの撮像信号を画像処理部により処理する画像処理方法であって、前記撮像信号に対する、前記異なる光電変換特性を同一にする又は同一に近づける階調変換処理を階調変換処理部により行う第１の工程と、前記撮像信号に対する、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理を色処理部により行う第２の工程とを有し、前記第１の工程で行われる前記階調変換処理として、前記撮像信号を対数特性領域の撮像信号と線形特性領域の撮像信号とに分割し、前記対数特性領域の撮像信号及び線形特性領域の撮像信号に対する照明成分の圧縮処理を行うダイナミックレンジ圧縮処理を行い、前記第１の工程の後に、前記第２の工程を行うことを特徴とする。

上記構成によれば、異なる光電変換特性を２つ以上有する固体撮像素子からの撮像信号が画像処理部により処理され、第１の工程において、撮像信号に対して、異なる光電変換特性を同一にする又は同一に近づける階調変換処理が階調変換処理部により行われ、第２の工程において、撮像信号に対して、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理が色処理部により行われ、この第１の工程及び第２の工程は、第１の工程の後に、第２の工程が行われる順序で実行される。

ここで、前記第１の工程で行われる前記階調変換処理として、前記撮像信号を対数特性領域の撮像信号と線形特性領域の撮像信号とに分割し、前記対数特性領域の撮像信号及び線形特性領域の撮像信号に対する照明成分の圧縮処理を行うダイナミックレンジ圧縮処理が行われる。

このように、画像データの光電変換特性を同一又は略同一の特性に統一した後、当該画像データに対する色処理を行う構成とするので、ＬＯＧセンサ（線形／対数画像）に対する専用の色処理部を別途備えることなく、従来の色処理部（色処理方法）を用いて色処理を行うことができ、色ズレ等の不具合の発生が防止又は低減され、ひいては撮影画像（線形／対数画像）の高画質化を図ることができる。

請求項１に係る撮像装置によれば、画像データの光電変換特性を同一又は略同一の特性に統一した後、当該画像データに対する色処理を行う構成とするので、ＬＯＧセンサ（線形／対数画像）に対する専用の色処理部を別途備えることなく、従来の色処理部（色処理方法）を用いて色処理を行うことができ、色ズレ等の不具合の発生が防止又は低減され、ひいては撮影画像（線形／対数画像）の高画質化を図ることができる。

請求項２に係る撮像装置によれば、異なる光電変換特性を同一にする又は同一に近づける階調変換処理として、高輝度側の光電変換特性を低輝度側の光電変換特性と一致させる又は近似させる処理が行われるので、例えば対数特性と線形特性とからなる光電変換特性を有する画像データを、線形特性の画像データに統一して扱うことができ、当該線形／対数画像に対する色処理を、従来の線形画像用の色処理部（色処理方法）を用いて行うことが可能となる。

請求項３に係る撮像装置によれば、ホワイトバランス補正処理が階調変換処理前に行われるので、階調変換処理前のホワイトバランス補正処理において、例えば線形／対数画像におけるＲＧＢ各色毎に異なる光電変換特性をいずれかの光電変換特性に一致させるといった処理を行うことで、線形／対数画像の階調変換処理或いはこれ以後の画像処理における扱いを容易なものとすることができる。

請求項４に係る撮像装置によれば、階調変換処理前のホワイトバランス補正処理において、ＲＧＢ各色の光電変換特性を該ＲＧＢ各色における基準となる色、例えばＧ色の光電変換特性に一致させる処理が行われるので、ＲＧＢ各色毎に異なる光電変換特性を扱うことなく、すなわち、ＲＧＢ各色の画像データにおける線形画像と対数画像とをそれぞれ同じものとして纏めて扱うことができ、階調変換処理或いはこれ以後の画像処理における処理の効率化（簡易化、高速化）を図ることが可能となる。

請求項５に係る画像処理方法によれば、画像データの光電変換特性を同一又は略同一の特性に統一した後、当該画像データに対する色処理を行う構成とするので、ＬＯＧセンサ（線形／対数画像）に対する専用の色処理部を別途備えることなく、従来の色処理部（色処理方法）を用いて色処理を行うことができ、色ズレ等の不具合の発生が防止又は低減され、ひいては撮影画像（線形／対数画像）の高画質化を図ることができる。

図１は、本実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。

レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系（被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック）を構成するものである。レンズ部２は、当該レンズの透過光量を調節するための絞り（図略）やシャッタ（図略）を備えており、制御部８によりこの絞りやシャッタの駆動制御がなされる構成となっている。

撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して後段のアンプ４へ出力するものである。本実施形態においては、撮像センサ３として、図２に示すようなセンサ入射輝度が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性、換言すれば低輝度側が線形、高輝度側が対数の光電変換特性を有する対数変換型固体撮像素子が用いられる。なお、この光電変換特性の線形特性領域と対数特性領域との切り替り点（変曲点）は、撮像センサ３の各画素回路に対する所定の制御信号により任意に制御可能とされている。

具体的には撮像センサ３は、例えば、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、Ｐ型（又はＮ型）のＭＯＳＦＥＴ等を備えた対数変換回路を付加し、ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂ＣＭＯＳイメージセンサが採用される。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。

アンプ４は、撮像センサ３から出力された画像（映像）信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。なお、ＡＧＣ回路は、適正露出が得られなかった場合（例えば非常に低輝度の被写体を撮影する場合）の撮影画像のレベル不足を補償する（感度補正を行う）機能も有する。なお、ＡＧＣ回路に対するゲイン値は制御部８によって設定される。

Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

画像処理部６は、Ａ／Ｄ変換部５によるＡ／Ｄ変換処理によって得られた画像信号に対する各種画像処理（デジタル信号処理）を行うものである。本実施形態では、画像処理部６の各画像処理における特に色補間処理、色補正処理及び色空間変換処理といった色処理の前段階で実行される、線形／対数画像に対する好適な上記色処理が可能となるようにする画像処理、具体的には、色補間処理、色補正処理及び色空間変換処理の前に実行するホワイトバランス補正処理やダイナミックレンジ圧縮処理（ＤＲ圧縮処理）に主たる特徴点がある。画像処理部６におけるこの特徴点に関する処理を含む各種画像処理については後に詳述する。

なお、画像処理部６は、上記各機能部の他に、例えば信号の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去するＦＰＮ補正部やＡ／Ｄ変換部５から入力されるデジタル画像信号の黒レベル（暗黒時の画像信号レベル）を基準の値に補正する黒基準補正部を備えていてもよい（いずれも図略）。

画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６での画像処理を終えた画像データを（一時的に）保存するものである。画像メモリ７は、例えば撮影よる所定フレーム分の画像データを記憶し得る容量を有したものとなっている。

制御部８は、各制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３や画像処理部６或いは操作部１０等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメータ等を算出し、これを送信することで各部の動作を制御する。制御部８は、図略のタイミング生成部（タイミングジェネレータ）や駆動部を介して、それぞれ撮像センサ３やレンズ部２（絞りやシャッタ）に対する撮像動作制御やズーム（フォーカス）駆動制御を行ったり、モニタ部９への表示制御などを行う。また、画像処理部６や画像メモリ７からの画像信号の出力制御なども行う。

図３は、制御部８の各機能を説明するための機能ブロック図である。同図に示すように制御部８は、評価値検出部８０、制御パラメータ算出部８１、制御信号発生部８２及びメモリ部８３等を備えている。制御パラメータ算出部８１は、上記装置各部が必要とする制御パラメータを算出するものであり、ＡＥ制御（自動露出制御）パラメータ算出部８１１やＷＢ制御（ホワイトバランス制御）パラメータ算出部８１２を備えている。

ここで、本発明で言うＡＥ制御の概念に関する定義について説明しておく。いわゆる銀塩カメラと異なり、デジタルカメラやデジタルムービィ等の撮像装置においては、ＡＥ制御のための制御要素としては、撮像センサ３の光電変換特性に関連づけて（光電変換特性を作為的に変化させて）制御する方法と、撮像センサ３の撮像面に届く光の総量を調整する方法とがある。本明細書では、前者を「ダイナミックレンジ制御」と呼び、後者を「露光量制御」と呼ぶものとする。なお、「ダイナミックレンジ制御」は、例えば撮像センサ３の線形特性領域と対数特性領域との切り替わり点（上記変曲点）を制御することで実行される。また、「露光量制御」は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサ３に対するリセット動作の制御による電荷の積分時間制御により実行される。

評価値検出部８０は、撮像センサ３で実際に撮影された画像信号から、ＡＥ制御やＷＢ制御等の撮影動作制御を行うに際してのベース値となる評価値、すなわちＡＥ評価値やホワイトバランス評価値（ＷＢ評価値）等を検出するものである。

ＡＥ制御パラメータ算出部８１１は、被写体の輝度に応じた露出制御（ＡＥ制御）を行うべく、撮影時における、最適な露光量に設定するための制御パラメータ（以降、露光量制御パラメータという）と、最適な撮像センサ３の光電変換特性に設定するための制御パラメータ（以降、ダイナミックレンジ制御パラメータという）を算出する。この露光量制御パラメータとは、具体的には「露光時間」や「絞り」を最適化するための制御パラメータであり、ダイナミックレンジ制御パラメータは、被写体輝度に応じて撮像センサ３の光電変換特性を最適化するための制御パラメータである。

ＡＥ制御パラメータ算出部８１１は、評価値検出部８０により検出されるＡＥ評価値と、後述の光電変換特性情報記憶部８３１に記憶されているＡＥ評価値取得時点における撮像センサ３の光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値といった露光量設定値を上記露光量制御パラメータとして算出する。また、ＡＥ制御パラメータ算出部８１１は、同様に、評価値検出部８０により検出されるＡＥ評価値と、光電変換特性情報記憶部８３１に記憶されているＡＥ評価値取得時点における撮像センサ３の光電変換特性情報とに基づいて、例えばダイナミックレンジ設定用の被写体輝度が、撮像センサ３における所望の飽和出力レベルになるような光電変換特性設定値を上記ダイナミックレンジ制御パラメータとして算出する。

ＷＢ制御パラメータ算出部８１２は、評価値検出部８０により検出されるＷＢ評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するためのＷＢ制御パラメータ（ＷＢ設定値）を算出する。このＷＢ制御パラメータの算出にあたっては、参照するＷＢ評価値を撮像センサ３の対数特性領域及び線形特性領域のそれぞれにおいて取得し、それぞれの特性領域に応じた制御パラメータを算出することが好ましい。

なお、制御パラメータ算出部８１は、上記ＡＥ制御パラメータやＷＢ制御パラメータの算出に限定されず、例えば被写体の撮影にあたり最適な焦点距離に設定する自動焦点制御（ＡＦ；オートフォーカス）を行うためのＡＦ制御パラメータ（ＡＦ設定値）を算出する機能を備えていてもよい。この場合、評価値検出部８０によりＡＦ制御用のＡＦ評価値が検出される。

制御信号発生部８２は、制御パラメータ算出部８１で算出された各種制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するものである。具体的には、制御信号発生部８２は、上記露光時間設定値（露光量設定値）に応じて、撮像センサ３の露光時間（積分時間）を、絞りやシャッタ等のメカ操作に依らずに電子回路的な制御動作により制御するためのセンサ露光時間制御信号、上記露光時間設定値（露光量設定値）に応じて、シャッタのシャッタスピード（シャッタ開放時間）を露光時間に合わせて設定するシャッタ制御信号、上記絞り設定値（露光量設定値）に応じて、絞りの開口面積を設定する絞り制御信号、上記光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント（変曲点）の位置を調整するダイナミックレンジ制御信号を発生する。また、上記ＡＦ設定値に応じて、レンズ群を駆動させるためのズーム／フォーカス制御信号等を発生してもよい。制御信号発生部８２により生成されたこれらの各種制御信号は、装置の各駆動部の対応箇所へそれぞれ送信される。

メモリ部８３は、ＲＯＭやＲＡＭ等からなる記憶部であり、撮像センサ３の光電変換特性の情報（撮影に際しての所望の光電変換特性を得るための情報）、すなわち、露光時間設定値や絞り設定値、或いは光電変換特性設定値（光電変換特性に対応するダイナミックレンジ情報）を記憶する光電変換特性情報記憶部８３１、撮像センサ３の線形特性領域と対数特性領域とで得られた画像データに対するデータ変換（相互変換）を行うための変換情報すなわちＬＵＴ（Look Up Table）等を記憶するＬＵＴ記憶部８３２等を備えている。なお、光電変換特性情報記憶部８３１には、光電変換特性そのもの（図２に示すような光電変換特性の情報）が記憶されてもよい。また、ＬＵＴ記憶部８３２は、上記ＬＵＴの他に、露光時間や絞りの開口面積の値と露光時間設定値や絞り設定値とのデータ変換を行うＬＵＴ、光電変換特性の変曲点の値（出力レベル）と光電変換特性設定値とのデータ変換を行うＬＵＴ等、種々のデータ変換用のＬＵＴが記憶されている。

モニタ部９は、撮像センサ３で撮影された画像（画像メモリ７に保存されていた画像）等のモニタ表示を行うものである。モニタ部９は、具体的には、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）、或いは接眼部を構成する電子ビューファインダ（ＥＶＦ；Electronic View Finder）等からなる。

操作部１０は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、ニュー選択スイッチ等の各種の操作スイッチ群（操作ボタン群）からなる。例えばレリーズスイッチが押下（オン）されることで、撮像動作（撮像センサ３により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ７等に記録されるといった一連の撮影動作）が実行される。

次に、上記画像処理部６の構成及び動作の詳細について以下に説明する。

図４は、画像処理部６の一回路構成例を示す機能ブロック図である。図４に示すように、画像処理部６は、ホワイトバランス補正部６１、ＤＲ圧縮部６２、色補間部６３、色補正部６４、γ補正部６５及び色空間変換部６６を備えている。

ホワイトバランス補正部６１は、被写体光源の色温度変化によって生じる白色変化に伴う色バランス補正を行う、すなわち、制御部８から与えられるダイナミックレンジ情報やＷＢ評価値に基づいて、画像信号の色バランスが所定の色バランスになるよう各色成分Ｒ、Ｇ、Ｂの各画素データのレベルを変換する補正を行うものである。ここでは、撮像センサ３は線形特性領域と対数特性領域とからなる光電変換特性を有するものを採用していることから、線形特性領域及び対数特性領域毎にＷＢ評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。

本実施形態においては、ホワイトバランス補正部６１は、基準となる色、ここでは、一般的に基準色とされるＧ色の光電変換特性に対して、補正対象の色、つまりＲ色及びＢ色の光電変換特性を一致させる（合わせる）補正処理を行う。このＲ、Ｂ各色の光電変換特性を基準のＧ色の光電変換特性に一致させる処理に関し、ＲＧＢ各色の光電変換特性は、それぞれ線形特性領域及び対数特性領域を有しており、またその特性（特性曲線の形）も異なるものとなるため、或るセンサ入射輝度座標で見た場合に、一方の色の光電変換特性における線形特性領域（対数特性領域）の或る部分が、他方の色の光電変換特性における対数特性領域（線形特性領域）と重なる範囲があるため、以下、図６、７の２つの場合に示すように当該光電変換特性を一致させる処理を行う。

図６は、それぞれ特性が異なる範囲において、基準の光電変換特性側が線形特性であり、補正対象の光電変換特性側が対数特性である場合の光電変換特性を一致させる処理について説明するグラフ図である。一方、図７は、それぞれ特性が異なる範囲において、基準の光電変換特性側が対数特性であり、補正対象の光電変換特性側が線形特性である場合の光電変換特性を一致させる処理について説明するグラフ図である。先ず図６において、符号２０１は、基準色Ｇの光電変換特性（光電変換特性２０１）を、符号２０２は基準色Ｇの光電変換特性に一致させるＲ色の光電変換特性（光電変換特性２０２）を示している。ただし、ここでは基準色Ｇの光電変換特性に一致させる色として、Ｒ、Ｂ色のうちのＲ色を例に挙げて説明している（以下、図７についても同じ）。光電変換特性２０１、２０２は、それぞれ符号２０３、２０４を変曲点（切り替わり点）とする線形特性領域及び対数特性領域を有している。

この光電変換特性２０１、２０２は、横軸のセンサ入射輝度における符号２０５に示す領域（範囲）では、それぞれ線形特性領域２０６及び対数特性領域２０７であり、互いに特性が異なっている。したがって、光電変換特性２０２を光電変換特性２０１と一致させるべく、先ず対数特性領域２０７の画像データを、ＬＵＴを用いて線形特性の値つまり符号２０８に示す線形特性領域に対応する値に変換して、線形特性領域２０６の特性と同じ特性の線形データに統一しておく。そして当該変換して得られた線形データと、線形特性領域２０９の線形データとを合わせた線形データ（合成線形データという）に対して所定の補正係数を乗算することで、線形特性領域２１０の線形データに一致させる。ただし、この補正係数は、上記合成線形データの値と線形特性領域２１０の線形データの値（センサ出力値）との比に基づく値であり、各センサ入射輝度に対する例えば符号Ｈ１の長さに相当する値と符号Ｈ２の長さに相当する値との比（Ｈ２／Ｈ１：この記号「／」は除算）で与えられる。

一方、光電変換特性２０１、２０２における対数特性領域、すなわち対数特性領域２１１及び対数特性領域２１２（上記線形データに変換した対数特性領域２０７は除いている）については、該対数特性領域２１２の対数データに対して所定の補正値を加算することで、対数特性領域２１１の対数データに一致させる。なお、この補正値は、上記対数特性領域２１２の対数データの値（センサ出力値）と対数特性領域２１１の対数データの値（センサ出力値）との差量Δ１として与えられる。ただし、図６に示す場合では、マイナス値としての差量Δ１を加算することになる（プラス量としての差量Δ１を減算するとしてもよい）。

このように、光電変換特性２０１及び光電変換特性２０２の各特性を、いずれか一方の光電変換特性、ここでは基準となるＧ色の光電変換特性２０１の各特性に揃えた後、各特性領域の画像データに対する所定のＧａｉｎ（ゲイン）、つまり上記補正係数や補正値を用いることで、光電変換特性２０２を光電変換特性２０１に一致させる処理が行われる。なお、Ｂ色の光電変換特性をＧ色の光電変換特性２０１に一致させる場合についても、上記と同様の処理が行われる。

次に、図７において、符号３０１は、基準色Ｇの光電変換特性（光電変換特性３０１）を、符号３０２は基準色Ｇの光電変換特性に一致させるＲ色の光電変換特性（光電変換特性３０２）を示している。光電変換特性３０１、３０２は、それぞれ符号３０３、３０４を変曲点（切り替わり点）とする線形特性領域及び対数特性領域を有している。

この光電変換特性３０１、３０２は、横軸のセンサ入射輝度における符号３０５に示す領域（範囲）では、それぞれ対数特性領域３０６及び線形特性領域３０７であり、互いに特性が異なっている。したがって、光電変換特性３０２を光電変換特性３０１と一致させるべく、先ず線形特性領域３０７の画像データを、ＬＵＴを用いて対数特性の値つまり符号３０８に示す対数特性領域での値に変換して、対数特性領域３０６の特性と同じ特性の対数データに統一しておく。そして当該変換して得られた対数データと対数特性領域３０９の対数データとを合わせた対数データ（合成対数データという）に対して所定の補正値を加算することで、対数特性領域３１０の対数データに一致させる。ただし、この補正値は、上記合成対数データの値（センサ出力値）と対数特性領域３１０の対数データの値（センサ出力値）との差量Δ２として与えられる。

一方、光電変換特性３０１、３０２における線形特性領域、すなわち線形特性領域３１１及び対数特性領域３１２（上記対数データに変換した対数特性領域３０７は除いている）については、該線形特性領域３１２の線形データに所定の補正係数を乗算することで、線形特性領域３１１の線形データに一致させる。この補正係数は、上記と同様、線形特性領域３１１及び対数特性領域３１２の線形データの値（センサ出力値）の比に基づく値となっている。

このように、光電変換特性３０１及び光電変換特性３０２の各特性を、いずれか一方の光電変換特性、ここでは基準となるＧ色の光電変換特性３０１の各特性に揃えた後、各領域の画像データに対する所定のＧａｉｎ（ゲイン）、つまり上記補正値や補正係数を用いることで、光電変換特性３０２を光電変換特性３０１に一致させる処理が行われる。なお、Ｂ色の光電変換特性をＧ色の光電変換特性３０１に一致させる場合も、同様の処理が行われる。

以上図６、７で説明したように、Ｒ色Ｇ色共に線形特性の場合はそのままＲ色に対する乗算処理を行い、Ｒ色Ｇ色共に対数特性の場合はそのままＲ色に対する加算処理を行う（これが基本の処理動作）。互いの特性が異なる場合、例えばＲ色が対数特性でＧ色が線形特性である場合には、このＲ色の対数特性をＬＵＴを用いて線形特性に変換した後、これに対する乗算処理を行う。また、例えばＲ色が線形特性でＧ色が対数特性である場合には、該Ｒ色の線形特性をＬＵＴを用いて対数特性に変換した後、これに対する加算処理を行う。

なお、このように光電変換特性を一致させる処理（ホワイトバランス補正処理）は、ＲＧＢ各色の全ての光電変換特性に対して、或る輝度値を境として線形特性と対数特性とを（明確に区分し）それぞれ同じものとして纏めて（一括して）扱うことができるようにする処理であると言うこともできる。また、上記加算処理にて画像データに加算される補正値、及び乗算処理にて画像データに乗算される補正係数は、制御部８（例えばホワイトバランス補正部６１）において算出される。ただし、制御部８は評価値検出部８０により検出されたＷＢ評価値に基づいてこの補正値及び補正係数を算出する。また、ここでは、好ましい形態としてＲＧＢにおける基準色をＧ色としているが、ＲやＢ色を基準色としてもよく、この場合、基準色Ｒの光電変換特性に対してＧやＢ色の光電変換特性を一致させる、或いは基準色Ｂの光電変換特性に対してＧやＲ色の光電変換特性を一致させる処理を行う構成としてもよい。

ＤＲ圧縮部６２は、前記表示系の階調特性への補正に際し、撮像センサ３により得られた線形／対数画像に対してＤＲ圧縮処理を行う機能を備えている。概略的に説明すると、ＤＲ圧縮部６２は、入力された画像データを対数特性領域と線形特性領域との画像データに分割（分割抽出処理）し、当該分割した線形特性領域及び対数特性領域の各画像データに対する照明成分の圧縮処理を実行した後、これら各画像データを合成する機能を備えている。ＤＲ圧縮部６２のこの機能に関する具体的構成、動作等の詳細については後に説明する。

色補間部６３は、入力される画像信号の各色成分Ｒ、Ｇ、Ｂ毎に、フレーム画像の不足する画素位置のデータを補間する色補間処理を行うものである。すなわち、本実施形態で用いられる対数変換型の撮像センサ３のカラーフィルタ構造は、例えばＧが市松状でＲ、Ｂが線順次配列（以降、Ｇ市松ＲＢ線順次配列という）された所謂ベイヤー方式が採用されており、この関係上、色情報が不足していることから、色補間部６３は実在する複数の画素データを用いて実在しない画素位置の画素データを補間する。

具体的には、色補間部６３は、高帯域まで画素を有するＧ色の色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン（中間値）フィルタ等を用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、Ｒ、Ｂの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。

図５に、撮像センサ３のカラーフィルタ構造の一例を示す。かかるカラーフィルタ構造において、前記色補間による各画素における色成分Ｒ、Ｇ、Ｂの画像信号は、例えば以下の各色補間式によって生成される。
（イ）アドレス１１（Ｂ１１）の色補間式
Ｒ１１＝（Ｒ００＋Ｒ２０＋Ｒ０２＋Ｒ２２）／４
Ｇ１１＝（Ｇｒ１０＋Ｇｂ０１＋Ｇｂ２１＋Ｇｒ１２）／４
Ｂ１１＝Ｂ１１
（ロ）アドレス１２（Ｇｒ１２）の色補間式
Ｒ１２＝（Ｒ０２＋Ｒ２２）／２
Ｇ１２＝Ｇｒ１２
Ｂ１２＝（Ｂ１１＋Ｂ１３）／２
（ハ）アドレス２１（Ｇｂ２１）の色補間式
Ｒ２１＝（Ｒ２０＋Ｒ２２）／２
Ｇ２１＝Ｇｂ２１
Ｂ２１＝（Ｂ１１＋Ｂ３１）／２
（ニ）アドレス２２（Ｒ２２）の色補間式
Ｒ２２＝Ｒ２２
Ｇ２２＝（Ｇｂ２１＋Ｇｒ１２＋Ｇｒ３２＋Ｇｂ２３）／４
Ｂ２２＝（Ｂ１１＋Ｂ３１＋Ｂ１３＋Ｂ３３）／４
上述のように、異なる画素の色情報に基づいて補間処理を行う場合には、光電変換特性が異なる画像を処理する場合、補間に用いる複数の画素の光電変換特性が、線形特性及び対数特性と異なることがあり、この補間に際しては、各画素の光電変換特性を考慮して補間する必要があるが（例えば上記Ｒ００、Ｇｒ１０…の各画素におけるいずれか１つの画素情報が対数特性であれば色ズレが発生してしまう）、本実施形態においては、補間処理前に光電変換特性を均一にしている、すなわちＲ、Ｇ、Ｂ全ての色の特性について線形特性と対数特性とを一致させていることから、特に線形特性及び対数特性を有する光電変換特性の画像データ専用の色補間部６３（色補間式）を備えることなく、従来の補間処理（上記線形情報を扱う補間処理）によって処理することが可能となる。

色補正部６４は、色補間部６３から入力される色成分Ｒ、Ｇ、Ｂの画像信号の色合い（色バランス；彩度）を補正する色補正処理を行うものである。色補正部６４は、色成分ＲＧＢの各画像信号のレベル比を変換する３種類の変換係数を有し、撮影シーンに応じた変換係数で該レベル比を変換して画像データの色合いを補正する。例えば、ａ１〜ｃ３の合計９個の変換係数（重み付け係数）を用い、次の色補正用変換式を用いて画像信号を線形変換する。

Ｒ´＝ａ１＊Ｒ＋ａ２＊Ｇ＋ａ３＊Ｂ
Ｇ´＝ｂ１＊Ｒ＋ｂ２＊Ｇ＋ｂ３＊Ｂ
Ｂ´＝ｃ１＊Ｒ＋ｃ２＊Ｇ＋ｃ３＊Ｂ
ただし、記号「＊」は、乗算を表すものとする。以降も同じ。

上記のように画素の色情報を所定の係数により補正する場合において、光電変換特性が異なる画像を処理する場合、補間に用いる複数の色情報の光電変換特性が形特性領域及び対数特性領域というように異なることがあり、この補間に際しては、各色の光電変換特性を考慮して補正する必要があるが（例えば上記色補正式におけるＲＧＢのうちの何れか１つの色が対数特性であれば色ズレが発生してしまう）、本実施形態においては、補正処理前に光電変換特性を均一にしている、すなわちＲＧＢ全ての色の特性について線形特性と対数特性とを一致させていることから、特に線形特性及び対数特性を有する光電変換特性の画像データ専用の色補正部６４（色補正用変換式）を備えることなく、従来の補正処理（上記線形情報を扱う補正処理）によって処理することが可能となる。

γ補正部６５は、入力される画像データに対し、所定のガンマ特性を用いて非線形変換するガンマ補正処理を行うものである。具体的には、γ補正部６５は、入力される色成分ＲＧＢの各画像信号が適切な出力レベルになるよう、画像信号のレベルを各色成分毎に、モニタ部９や外部出力されるモニターテレビ等の表示メディア（表示媒体）の表示特性（階調特性；非線形表示特性；γカーブ）に応じて、所定のガンマ補正テーブル（ガンマ補正用ＬＵＴ）を用いて非線形補正を行う。ただし、このガンマ補正テーブルは、表示メディアの表示特性に応じたものが予めＬＵＴ記憶部８３２に記憶（設定）されている。

撮影に応じてＲＧＢ各色毎に線形特性及び対数特性からなる光電変換特性が異なる場合、当該撮影毎つまり各色毎にガンマ補正テーブルを切り替えて用いる必要があったが、本実施形態においては、補正処理前に光電変換特性を均一にしている、すなわちＲＧＢ全ての色の特性について線形特性と対数特性とを一致させていることから、同一のガンマ補正テーブルを用いて効率良く処理することが可能となる。なお、従来一般的に、色補間及び色補正を行った後、ガンマ補正を行うことから、本実施形態においても色補間部６３及び色補正部６４の後段に該γ補正部６５を備える構成としている。

色空間変換部６６は、画像データにおけるＲＧＢ、すなわち赤、緑、青の３色の階調により表現するＲＧＢ表示系から、輝度（Ｙ）と青の色差（Ｃｂ）及び赤の色差（Ｃｒ）により表現するＹＣｂＣｒ表示系（ＹＣＣ表示系ともいう）へ色空間変換する色空間変換処理を行うものである。この色空間変換部６６による色空間変換処理については、本実施形態での異なる光電変換特性を有する画像データを扱う場合、ガンマ補正の後に行うのであれば、ここでのホワイトバランス補正部６１及びＤＲ圧縮部６２での処理の有無に拘わらず問題なく扱うことができるが、ガンマ補正の前に行うのであれば、この異なる光電変換特性を有する画像データをそのまま（一方の特性に統一せずに）色空間変換処理すると、色相がずれるという問題がある。しかしながら、本実施形態においては当該ホワイトバランス補正部６１及びＤＲ圧縮部６２での処理（後述の前段の処理）が行われるため、この問題も解消される。

ところで、画像処理部６での各画像処理部は、上述したように画像データの光電変換特性を同じ特性（線形特性）に統一する前段の処理部（前段処理部６１０とする）と、当該特性が統一された画像データに対する後段の処理部（後段処理部６２０）とに大別することができる。この後段処理部６２０における画像処理は、上記色補間部６３、色補正部６４及び色空間変換部６６の画像処理による所謂「色処理」を示すものである。ただし、ホワイトバランス補正部６１によるホワイトバランス補正処理は、この「色処理」の一種であるため、ここでの前段の処理と後段の処理とを明確に区別するべく後段処理部６２０における色処理のことを「後色処理」と称することとする。この「後色処理」にγ補正部６５によるガンマ補正処理を含んでもよい。

なお、前段処理部６１０において、ホワイトバランス補正部６１をＤＲ圧縮部６２の後段に配置してもよい。すなわち、当該前段処理において、ＤＲ圧縮処理を行った後、ホワイトバランス補正処理を行う構成としてもよい。また、後段処理部６２０における後色処理を行う機能部は、図４に示すものに限定されず、例えば上記ＹＣｂＣｒ表示系のＣｂＣｒの色差情報に基づいて色の彩度を強調する彩度強調処理を行う機能部などをさらに備えていてもよい。

ここで、ＤＲ圧縮部６２における画像処理（階調変換処理）について詳述する。図４において、ホワイトバランス補正部６１によりホワイトバランス補正処理された線形／対数画像は、ＤＲ圧縮部６２においてＤＲ圧縮処理が施される。

図８は、このＤＲ圧縮部６２の機能を説明するための機能ブロック図である。同図に示すように、ＤＲ圧縮部６２は、色要素分割部６２０１、領域分割抽出部６２０２、第１照明成分抽出部６２０３、第１照明成分圧縮部６２０４、リニア変換部６２０５、第２照明成分抽出部６２０６、第２照明成分圧縮部６２０７、画像合成部６２０８及び色要素合成部６２０９を備えている。以下、これら各機能部について、具体的な演算方法と併せて説明する。

色要素分割部６２０１は、撮像センサ３からの画像データ、ここでは前段のホワイトバランス補正部６１からの画像Ｉｉｎ（線形／対数画像）を、ベイヤー方式のカラーフィルタ構造によるＧ市松ＲＢ線順次配列における４つの色要素（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎の画像データに分割する、つまりベイヤー４要素を各要素毎に分けてなる４種類の色画像データ（Ｒ画像、Ｇｒ画像、Ｇｂ画像及びＢ画像）を得るものである。なお、各色画像の画像サイズは、元の画像サイズの１／２サイズとなっている。また、この４種類の各色画像は、それぞれ線形特性及び対数特性情報を含む線形／対数画像となっている。

領域分割抽出部６２０２は、色要素分割部６２０１から入力された上記４種類の色画像それぞれについて（各色画像を基画像Ｉと表現する）、この基画像Ｉから対数特性領域での画像（画像Ｉ１とする）と、線形特性領域での画像（画像Ｉ２）との画像を分割抽出するものである。

色要素分割部６２０１から領域分割抽出部６２０２に入力される各色画像毎の基画像Ｉは、例えば図９に示す光電変換特性４００を有しており、この光電変換特性４００は、入力輝度ｘ（対数値ではない）に対する画素値ｙとして以下の(1-1)、(1-2)式で表される。同図に示す座標Ｘｔｈ及びＹｔｈは、光電変換特性４００における対数特性領域４０１と線形特性領域４０２ととが切り替わる点、すなわち変曲点４０３における各（ｘ、ｙ）座標の値である。ただし、同図の「入力輝度」及び「画素値」はそれぞれ上記図２に示す「センサ入射輝度」及び「センサ出力」に相当する。

ｙ＝ａ＊ｘ＋ｂ（０≦ｘ≦Ｘｔｈ） …(1-1)
ｙ＝α＊ｌｏｇ（ｘ）＋β（Ｘｔｈ≦ｘ）…(1-2)
（式(1-1)は線形特性領域４０２を、式(1-2)は対数特性領域４０１を示している）
領域分割抽出部６２０２では、以下の条件式(2-1)〜(2-4)に示すように、基画像Ｉ（ここでは２次元画像であることを示すべく適宜、画像Ｉ（ｘ、ｙ）と表現する）を構成する各画素に対し、画素値が所定の値θ以上の領域とθ未満の領域とに分割する（θによって基画像Ｉを各特性領域の上限、下限位置で所謂クリップする）。この「θ」のことを適宜、分割パラメータと称する。

ｉｆ（Ｉ（ｘ、ｙ）≧θ）
ｔｈｅｎ
Ｉ１（ｘ、ｙ）＝Ｉ（ｘ、ｙ） …(2-1)
Ｉ２（ｘ、ｙ）＝０（ゼロ） …(2-2)
ｅｌｓｅ
Ｉ１（ｘ、ｙ）＝０（ゼロ） …(2-3)
Ｉ２（ｘ、ｙ）＝Ｉ（ｘ、ｙ） …(2-4)
ｅｎｄｉｆ
これはつまり、画像Ｉ（ｘ、ｙ）において画素値がθ以上となる領域の画像が画像Ｉ１（画像Ｉ１（ｘ、ｙ））であり、画素値がθより小さい（θ未満）となる領域の画像が画像Ｉ２（画像Ｉ２（ｘ、ｙ））となることを示している。

ただし、本実施形態では、図９に示すように光電変換特性４００を有する全体画像を、線形特性領域の画像と対数特性領域の画像とに区分することから、分割パラメータθの位置は上記変曲点でのＹｔｈと同じ位置となる（分割パラメータθはＹｔｈの値のみに固定して設定される）。したがって、この分割抽出処理における線形特性と対数特性との境界位置は分割パラメータθを用いて設定せずともよく、例えば単に変曲点Ｙｔｈの位置として設定してもよい。

このように領域分割抽出部６２０２は、光電変換特性４００を有する基画像Ｉが入力されると、該基画像Ｉから、分割パラメータθ（＝Ｙｔｈ；変曲点）の位置を境として領域４０４に示す画像Ｉ１（対数特性画像）と領域４０５に示す画像Ｉ２（線形特性画像）との分割抽出処理を行う。この境界パラメータθの設定情報は、ＤＲ圧縮部６２（例えば領域分割抽出部６２０２）に記憶してもよい。

ところで、基画像Ｉは、所謂Ｒｅｔｉｎｅｘ理論によれば、該基画像Ｉにおける照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の(3-1)式で表される。

Ｉ＝Ｌ＊Ｒ …(3-1)
ただし、(3-1)式は、線形特性領域画像としての基画像Ｉに対するものであり、対数特性領域画像としての基画像Ｉに対しては、以下の(4-1)式で表される。

Ｌｏｇ（Ｉ）＝Ｌｏｇ（Ｌ）＋Ｌｏｇ（Ｒ） …(4-1)
図９に示すように、基画像Ｉにおける画素値がθ（＝Ｙｔｈ）以上となる画像Ｉ１は、領域４０４の上記(1-2)式に相当する対数特性領域４０１の画像であることを示しており、以下(5-1)式で表される。なお、画像Ｉ２は、領域４０５の上記(1-1)式に相当する線形特性領域４０２の画像となる。

Ｉ１＝α＊ｌｏｇ（ｘ）＋β …(5-1)
対数変換前の画素値、すなわち画像Ｉ１の１つの画素を「ｉ１」と表すと、上記(4-1)式の左辺はＬｏｇ（ｉ１）となり、このＬｏｇ（ｉ１）は(5-1)式の変形から、以下(6-1)式で表されることになる。

ｌｏｇ（ｉ１）＝（Ｉ１−β）／α …(6-1)
第１照明成分抽出部６２０３は、基画像Ｉから分割抽出された画像Ｉ１及びＩ２のうちの画像Ｉ１から、照明成分を抽出、すなわち画像Ｉ１中の照明成分としてのＬｏｇ（Ｌ１）（画像Ｉ１の照明成分Ｌ１の対数値）を抽出する。この照明成分は画像の低周波成分で近似できるので、以下(7-1)式と表される。

Ｌｏｇ（Ｌ１）＝Ｆ（ｌｏｇ（ｉ１）） …(7-1)
上記(7-1)式中の“Ｆ”に示す変換は、ガウシアン或いは平均化に関する線形のローパスフィルタ（ＬＰＦ）を示している。このようにフィルタが線形の場合、(7-1)式は、上記(6-1)式を代入することで以下(8-1)式と表される（“線形フィルタ”であるため、“Ｆ”が（Ｉ１）の項のみに係る式で表される）。(8-1)式は、照明成分Ｌｏｇ（Ｌ１）が、ＬＰＦを用いた(8-1)式の右辺の演算式によって画像Ｉ１から求められることを示している。

Ｌｏｇ（Ｌ１）＝（Ｆ（Ｉ１）−β）／α …(8-1)
ただし、上記線形フィルタに限定されず、要は、所謂“ぼかした画像”が得られるのであれば、例えばメディアンフィルタ等の非線形フィルタを用いてもよい。この場合、上非線形フィルタを適用したとしても大きく値が変わらないため当該処理に使用可能となる。

第１照明成分圧縮部６２０４は、第１照明成分抽出部６２０３によって抽出された照明成分画像に対する圧縮処理を行うものである。すなわち、第１照明成分圧縮部６２０４は、上記抽出された照明成分Ｌｏｇ（Ｌ１）に対する所定の圧縮処理を行い、当該照明成分Ｌ１を圧縮してなる照明成分Ｌ１’の対数値Ｌｏｇ（Ｌ１’）として出力する。ＤＲ圧縮における圧縮率（ＤＲ圧縮率）を「ｒ」とすると、第１照明成分圧縮部６２０４から出力されるＬｏｇ（Ｌ１’）は、以下の(9-1)式で示されるものとなる。

Ｌｏｇ（Ｌ１’）＝Ｌｏｇ（Ｌ１）×ｒ …(9-1)
画像Ｉ１に対するＤＲ圧縮後の画像を画像Ｉ１’とし、画像Ｉ１における反射率成分をＲ１とすると、上記(4-1)式は以下(10-1)式と表されることから、
Ｌｏｇ（Ｉ１’）＝Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１） …(10-1)
画像Ｉ１’は、(10-1)式の両辺に逆対数をとった以下(11-1)式で表される。

Ｉ１’＝ｅｘｐ（Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１）） …(11-1)
リニア変換部６２０５は、領域分割抽出部６２０２によって分割抽出され、第１照明成分抽出部６２０３や第１照明成分圧縮部６２０４により圧縮処理が施された後の対数画像を、線形画像に変換するものである。具体的には、リニア変換部６２０５は、上記(10-1)式から(11-1)式への式変換による演算を行うことで、対数画像Ｌｏｇ（Ｉ１’）から線形画像Ｉ１’への変換処理を行う。このようにリニア変換部６２０５によって対数画像Ｌｏｇ（Ｉ１’）を線形画像Ｉ１’に変換することで、後述の線形画像である画像Ｉ２’と同じ特性（線形特性）の画像として扱うことが可能となる（ここでは画像Ｉ１’とＩ２’との合成処理が可能となる）。

なお、図８に示すように、上記Ｌｏｇ（Ｒ１）は、符号６２１１に示す減算部（減算部６２１１）によって、ルートＡを送信されてくる画像Ｉ１からルートＢを送信されてくる照明成分Ｌｏｇ（Ｌ１）を減算することで得られる。また、画像Ｉ１’は、符号６２１２に示す加算部（加算部６２１２）によって、第１照明成分圧縮部６２０４からの圧縮照明成分Ｌｏｇ（Ｌ１’）と上記減算部６２１１からの反射率成分Ｌｏｇ（Ｒ１）とを加算することで得られる。また、上述では、画像がルートを“送信”されると表現しているが、実際の動作としては画像データ信号（映像信号）が該当するルート全体に印加された状態となっている。

領域分割抽出部６２０２によって抽出された画像Ｉ１及びＩ２のうち、画像Ｉ２は、第２照明成分抽出部６２０６及び第２照明成分圧縮部６２０７による下記の方法でＤＲ圧縮が施され、画像Ｉ２’として画像合成部６２０８に入力される。これについて以下に説明する。

第２照明成分抽出部６２０６は、領域分割抽出部６２０２によって分割抽出された画像Ｉ２から照明成分Ｌ２を抽出する。当該画像Ｉ２からの照明成分Ｌ２の抽出処理は以下の(14-1)式で示される。

Ｌ２＝Ｆ（Ｉ２） …(14-1)
ここで、上記(14-1)式中の“Ｆ”は、上述と同様、ガウシアン或いは平均化に関する線形のローパスフィルタを示している。このフィルタはメディアンフィルタ等の非線形フィルタであってもよい。一方、画像Ｉ２の反射率成分Ｒ２は、Ｒ２＝Ｉ２／Ｌ２の関係により求められる（(3-1)式参照）。

第２照明成分圧縮部６２０７は、第２照明成分抽出部６２０６により得られた照明成分Ｌ２に対する所定の圧縮処理を行い、当該照明成分を圧縮してなる照明成分Ｌ２’を出力する。ＤＲ圧縮率を「ｃ」で表すと、この圧縮照明成分Ｌ２’は以下(15-1)式で与えられる。

Ｌ２’＝ｅｘｐ（Ｌｏｇ（Ｌ２）＊ｃ） …(15-1)
第２照明成分圧縮部６２０７により得られた圧縮照明成分Ｌ２’は、符号６２１４に示す乗算部（乗算部６２１４）によって反射率成分Ｒ２と乗算され、その結果、画像Ｉ２に対するＤＲ圧縮処理後の画像Ｉ２’が得られる。反射率成分Ｒ２は、符号６２１３に示す除算部（除算部６２１３）によって、ルートＥを送信されてくる画像Ｉ２からルートＦを送信されてくる照明成分Ｌ２を除算することで得られる。

画像合成部６２０８は、上記ＤＲ圧縮処理後の線形画像と対数画像との合成画像を作成するものである。すなわち画像合成部６２０８は、画像Ｉ１に対するＤＲ圧縮処理により得られた画像Ｉ１’と、画像Ｉ２に対するＤＲ圧縮処理により得られた画像Ｉ２’とに基づいて合成画像Ｏを作成する（Ｏ＝Ｉ１’＋Ｉ２’）。画像Ｉ１’（対数特性画像）と画像Ｉ２’（線形特性画像）とは、図１０における光電変換特性５０２に示すように滑らかに接続（合成）される。ただし、当該滑らかに接続するべく上記圧縮率ｒ及び圧縮率ｃは、ｒ＝ｃとされている。なお、画像合成部６２０８において、この合成画像Ｏと基画像Ｉとの合成処理を行ってもよい（この場合、ＤＲ圧縮部６２は、基画像Ｉのデータが画像合成部６２０８に入力されるような構成（配線）となっている）。この画像Ｏと基画像Ｉとの合成処理は、具体的には、例えば画像Ｏと基画像Ｉとの全体を単純に加算平均処理（平均化）することで行われてもよいし、また、例えばＸｔｈ以上の領域においてのみ、画像Ｏと基画像Ｉとの加算平均処理を行い（平均画像を求め）、この平均画像と、基画像ＩにおけるＸｔｈより小さい領域（光電変換特性５０１の線形特性領域部分）とを合成することで行われてもよい（この場合、各画像の重複部分の合成を例えば重み付け平均処理を用いて行ってもよい）。このように合成画像Ｏと基画像Ｉとに基づき新たに合成画像を作成することにより、線形特性領域において特性グラフの持ち上がりが抑えられて該線形特性領域でのコントラストが強調され過ぎないようにし、その一方で、対数特性領域における画素値幅を拡大させてコントラストの向上（改善）を図ることが可能となる（対数特性領域のコントラストを線形特性領域のコントラストに近づけることができるとも言える）。そして、当該対数特性領域のコントラスト改善がなされた画像データを扱うことが可能となることにより、ディスプレイ系への表示における画像の高画質化を図ることができる。

色要素合成部６２０９は、画像合成部６２０８により求められた画像Ｏ、すなわち、上述したベイヤー４要素の各要素毎の各色画像Ｉ（上記Ｒ画像、Ｇｒ画像、Ｇｂ画像及びＢ画像）に対応する４種類の画像Ｏを合成し、元の４要素の画像情報を併せ持つ画像Ｉｏｕｔを得るものである。なお、画像サイズは、各画像Ｏの１／２サイズから等倍サイズの画像Ｉｏｕｔに戻る。また、画像Ｉｏｕｔは、線形特性情報のみを含む（線形特性の画像データに統一された）画像となっている。

上述のようにＤＲ圧縮部６２によるＤＲ圧縮処理（階調変換処理）を行うことで、異なる光電変換特性の画像を、同一の光電変換特性を有する画像に変換することができるとともに、撮影画像の中で低コントラスト部分のコントラスト強調（コントラスト改善）を図ることが可能となる。すなわち、画像の局所空間（線形特性領域及び対数特性領域）毎にベース（照明光成分）を抽出し、該抽出したベースを圧縮し、画像の反射率成分と共に線形特性領域と同一の光電変換特性に変換する処理（リニア変換部６２０５での処理）を行うことで、対数特性と線形特性とからなる画像データを線形特性の画像データに統一することができ、これに加えて、対数特性領域でのコントラスト強調（改善）を図ることが可能となる。いずれにしてもＤＲ圧縮部６２によるＤＲ圧縮処理により、撮影画像データを低輝度領域の光電変換特性に統一することで、同じ特性の画像データとして扱うことができ、以後の画像処理におけるデータの扱いが容易となる（演算の簡易化或いは処理の高速化を図ることができる）。ここでは、以後の後段処理部６２０における後色処理を従来の色処理部（色処理方法）をそのまま利用して効率良く行うことが可能となる。

図１１は、デジタルカメラ１における画像処理部６での画像処理の動作の一例を示すフローチャートである。先ず評価値検出部８０において、撮像センサ３の撮影により得られた画像信号から、撮影動作制御を行うに際してのベース値となる評価値の一つとしてＷＢ評価値が検出される（ステップＳ１）。次に、前段処理部６１０において、当該検出されたＷＢ評価値を用いて、ホワイトバランス補正部６１によるホワイトバランス補正処理が行われ、ＲＧＢ各色の光電変換特性が同一の光電変換特性（基準色であるＧ色の光電変換特性）に統一される（ステップＳ２）。そして、ＤＲ圧縮部６２によりＤＲ圧縮処理（階調変換処理）が行われ、対数特性及び線形特性からなる異なった光電変換特性を有する画像が、同一の光電変換特性（対数特性）を有する画像に変換される（ステップＳ３）。これらステップＳ２、Ｓ３における前段処理部６１０の処理が行われた後、当該同一の光電変換特性を有する画像に対して、後段処理部６２０での画像処理、つまり色補間部６３、色補正部６４、ガンマ補正部６５及び色空間変換部６６等による後色処理が施される（ステップＳ４）。なお、上記フローにおけるステップＳ２及びＳ３の順番を入れ替えてもよい。

以上のように、本実施形態の撮像装置（デジタルカメラ１）によれば、撮像センサ３（固体撮像素子）は異なる光電変換特性を２つ以上有する（ここでは線形特性及び対数特性の異なる２つの光電変換特性を有する）ものとされ、撮像センサ３からの撮像信号が画像処理部６により処理される。そして、画像処理部６が備えるＤＲ圧縮部６２（階調変換処理部）によって、撮像センサ３からの撮像信号に対して、異なる光電変換特性を同一の光電変換特性（ここでは線形特性）にする又は同一の光電変換特性となるよう近づける階調変換処理（ＤＲ圧縮処理）が行われ、また、画像処理部６が備える後段処理部６２０（色補間部６３、色補正部６４及び色空間変換部６６等による後色処理を行う色処理部）によって、撮像信号に対して、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理が行われる。この階調変換処理及び色処理は、階調変換処理の後に色処理を行うという順序で実行される。このように、画像データの光電変換特性を同一又は略同一の特性に統一した後、当該画像データに対する色処理を行う構成とするので、撮像センサ３（線形／対数画像）に対する専用の色処理部（後段処理部６２０）を別途備えることなく、従来の色処理部（色処理方法）を用いて色処理を行うことができ、色ズレ等の不具合の発生が防止又は低減され、ひいては撮影画像（線形／対数画像）の高画質化を図ることができる。

また、ＤＲ圧縮部６２によって、異なる光電変換特性を同一にする又は同一に近づける階調変換処理として、高輝度側の光電変換特性を低輝度側の光電変換特性と一致させる又は近似させる処理が行われるので、例えば対数特性と線形特性とからなる光電変換特性を有する画像データを、線形特性の画像データに統一して扱うことができ、当該線形／対数画像に対する色処理を、従来の線形画像用の色処理部（色処理方法）を用いて行うことが可能となる。

また、ＤＲ圧縮部６２によって、異なる光電変換特性を同一にする又は同一に近づける階調変換処理として、撮像信号の照明光成分を圧縮するダイナミックレンジ圧縮処理が行われるので、当該異なる光電変換特性を同一にする又は同一に近づけることができるだけでなく、線形／対数画像に対して、低輝度側のコントラストを維持しつつ高輝度側のコントラスト向上（改善）を図ることが可能となる。

また、ホワイトバランス補正部６１によって、ホワイトバランス補正処理が階調変換処理（ＤＲ圧縮処理）前に行われるので、階調変換処理前のホワイトバランス補正処理において、例えば線形／対数画像におけるＲＧＢ各色毎に異なる光電変換特性をいずれかの光電変換特性に一致させるといった処理を行うことで、線形／対数画像の階調変換処理或いはこれ以後の画像処理における扱いを容易なものとすることができる。

また、ホワイトバランス補正部６１によって、ＲＧＢ各色の光電変換特性を該ＲＧＢ各色における基準となる色、例えばＧ色の光電変換特性に一致させるホワイトバランス補正処理が行われるので、ＲＧＢ各色毎に異なる光電変換特性を扱うことなく、すなわち、ＲＧＢ各色の画像データにおける線形画像と対数画像とをそれぞれ同じものとして纏めて扱うことができ、階調変換処理或いはこれ以後の画像処理における処理の効率化（簡易化、高速化）を図ることが可能となる。

また、本実施形態の画像処理方法によれば、異なる光電変換特性を２つ以上有する（ここでは線形特性及び対数特性の異なる２つの光電変換特性を有する）撮像センサ３（固体撮像素子）からの撮像信号が画像処理部６により処理され、第１の工程において、撮像信号に対して、異なる光電変換特性を同一にする又は同一に近づける階調変換処理（ＤＲ圧縮処理）がＤＲ圧縮部６２（階調変換処理部）により行われ、第２の工程において、撮像信号に対して、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理が後段処理部６２０（色補間部６３、色補正部６４及び色空間変換部６６等による後色処理を行う色処理部）により行われ、この第１の工程及び第２の工程は、第１の工程の後に、第２の工程が行われる順序で実行される。このように、画像データの光電変換特性を同一又は略同一の特性に統一した後、当該画像データに対する色処理を行う構成とするので、撮像センサ３（線形／対数画像）に対する専用の色処理部（後段処理部６２０）を別途備えることなく、従来の色処理部（色処理方法）を用いて色処理を行うことができ、色ズレ等の不具合の発生が防止又は低減され、ひいては撮影画像（線形／対数画像）の高画質化を図ることができる。

なお、本発明は、以下の態様をとることができる。
（Ａ）上記実施形態においては、ＤＲ圧縮部６２において、画像データを対数特性領域と線形特性領域との画像データに分割し、これら線形特性領域及び対数特性領域の各画像データを反射率成分と照明成分に分けて照明成分の圧縮処理を行い、対数特性領域の画像データを線形変換して全画像データを線形データに統一して扱えるようにする構成としている。しかしながら、このように画像データから各特性領域の照明成分を抽出するなどの処理を行うことで、処理が複雑となり、回路規模や処理時間の増加が必要となるため、ＤＲ圧縮部６２において、以下、図１２、１３に示す場合の処理構成が簡易な階調変換処理を行う構成としてもよい。

＜場合１＞
図１２に示すように、低輝度側領域（線形特性領域７０１）と光電変換特性が異なる高輝度領域（対数特性領域７０２）のみ、低輝度領域と同一の光電変換特性（線形特性）となるよう（線形特性領域７０３となるよう）階調変換を行う。なお、この階調変換はＬＵＴを用いて行う。この場合、高輝度領域の光電変換特性の傾きが大きくなるため、画像データ量（バス幅）が増大する（例えば従来の１６ビット幅から３２ビット幅に増大する）というデメリットがあるものの、低輝度領域の光電変換特性の傾き（輝度分解能）すなわち低輝度領域のコントラストを維持したまま以後の処理を行うことが可能となる。

＜場合２＞
図１３に示すように、低輝度領域（線形特性領域７１１）の光電変換特性の傾きを小さくし（線形特性領域７１２となるよう傾きを下げて）、かつ、高輝度領域（対数特性領域７１３）の光電変換特性を低輝度領域と同一の光電変換特性（線形特性領域７１４）となるよう階調変換を行う。なお、この階調変換はＬＵＴを用いて行う。この場合、低輝度領域の光電変換特性の傾きが小さくなり、低輝度領域での輝度分解能（コントラスト）が低下するというデメリットがあるものの、低輝度領域での光電変換特性の傾きを小さくすることができるので、図１２の場合の処理と比べて、扱う画像データ量（バス幅）が少なくて済む。

（Ｂ）光電変換特性を同一の特性とするべく高輝度側の光電変換特性（対数特性領域）を低輝度側の光電変換特性（線形特性領域）に統一する方法として、上記変形態様（Ａ）の他に、例えば図１４に示すように、対数特性領域（Ｙｔｈ以上の画素値の領域）のみヒストグラム均等化（ＨＥ；Histogram Equalization）処理を行ってもよい。この場合、対数特性領域の「度数」に応じて、同図の変換特性９０１となる変換情報を有する変換テーブル（ＬＵＴ）を作成し、この変換テーブルを用いて元の対数特性領域の画像データ（各画素）の変換を行うことで当該変換特性９０１を得る（ただし、変換特性９０１の曲線形状は同図に示すものに限定されない）。したがって、元の対数特性領域の画素値を変換特性９０１として、直線状の階調変換特性（直線特性９０２）、すなわち線形特性領域９０３と同じ線形特性に近似させる（近づける）ことができる。このようにして、線形特性及び対数特性からなる光電変換特性の画像データを、同じ線形特性の画像データとして扱うことが可能となる。なお、上記ヒストグラム均等化とは、従来一般的なコントラスト強調法の１つであり、画像の輝度ヒストグラム（濃度値ヒストグラム）が均等に分布するように各画素の輝度値を変換することでコントラストの強調を図る手法である。これは、例えば、原画像の輝度ヒストグラムを累積したもの（累積ヒストグラム）をマッピングカーブ（トーンカーブ）とし、このマッピングカーブを用いて原画像中の全画素の輝度（濃度値；グレイレベル）を変換することで実現される。

（Ｃ）上記実施形態においては、撮像センサ３による撮影画像に対するＤＲ圧縮処理をデジタルカメラ１内（ＤＲ圧縮部６２）の処理によって行う構成となっているが、これに限らず、ＤＲ圧縮処理をカメラ外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いたデジタルカメラ１との直接接続（有線）又は無線ＬＡＮ等によるネットワーク接続がなされた、或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成された、ユーザーインターフェイス（ＵＩ）を備える所定のホスト（例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant；個人向け携帯情報端末）においてこのＤＲ圧縮処理が実行されてもよい。

この場合、ホストは、デジタルカメラ１で得られた光電変換特性の情報（例えば変曲点に関する情報）とともに、ＤＲ圧縮処理（階調変換処理）前の状態であって例えば画像信号が制御部８において圧縮処理された静止画像や動画像、すなわちＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ等も含む）画像やＭＰＥＧ画像、或いはそのままのＲＡＷフォーマット画像を受け取り、この画像データ（変曲点位置情報）をホストのモニタ表示部に所定のアプリケーションソフト（ビューワソフト）等を用いて表示させる。そして、このアプリケーションソフトによって、ユーザによる指示入力（操作）に応じて上記実施形態のＤＲ圧縮処理方法が設定され、これに基づいて例えばＤＲ圧縮処理（画像変換処理）用のＬＵＴが作成されるなどしてＤＲ圧縮処理が実行されるという構成としてもよい。

なお、上記光電変換特性の情報等は、一般的にデジタルカメラの画像ファイルが有している該カメラの内部情報が記憶されるＥｘｉｆヘッダ等に記述されていてもよいし、光電変換特性情報専用の情報ファイルに別途記述されたものとしてもよい。また、ホワイトバランス補正処理についても、ＤＲ圧縮処理と同様に、デジタルカメラ１（画像処理部６）外の所定のホストにおいてなされる構成としてもよい。

本実施形態に係る撮像装置の一例であるデジタルカメラであり、当該デジタルカメラの主に撮像処理に関する概略的なブロック構成図である。上記デジタルカメラに用いられる撮像センサの光電変換特性の一例を示すグラフ図である。上記デジタルカメラの制御部の各機能を説明するための機能ブロック図である。上記デジタルカメラの画像処理部の一回路構成例を示す機能ブロック図である。上記撮像センサのカラーフィルタ構造の一例を示す図である。それぞれ特性が異なる範囲において、基準の光電変換特性側が線形特性であり、補正対象の光電変換特性側が対数特性である場合の光電変換特性を一致させる処理について説明するグラフ図である。それぞれ特性が異なる範囲において、基準の光電変換特性側が対数特性であり、補正対象の光電変換特性側が線形特性である場合の光電変換特性を一致させる処理について説明するグラフ図である。上記画像処理部におけるＤＲ圧縮部の機能を説明するための機能ブロック図である。基画像（光電変換特性）に対する画像Ｉ１、Ｉ２の分割抽出処理について説明するためのグラフ図である。画像Ｉ１’と画像Ｉ２‘との合成画像Ｏについて説明するためのグラフ図である。上記デジタルカメラにおける画像処理部での画像処理の動作の一例を示すフローチャートである。ＤＲ圧縮処理に代わる諧調変換処理の一変形例であって、光電変換特性を線形特性に統一する処理を説明するためのグラフ図である。ＤＲ圧縮処理に代わる諧調変換処理の一変形例であって、光電変換特性を線形特性に統一する処理を説明するためのグラフ図である。ＤＲ圧縮処理に代わる諧調変換処理の一変形例であって、対数特性を線形特性に近づけるヒストグラム均等化処理について説明するためのグラフ図である。

１デジタルカメラ（撮像装置）
３撮像センサ（固体撮像素子）
６画像処理部
６１ホワイトバランス補正部
６２ＤＲ圧縮部（階調変換処理部）
６３色補間部（色処理部）
６４色補正部（色処理部）
６６色空間変換部（色処理部）
６１０前段処理部
６２０後段処理部（色処理部）

Claims

異なる光電変換特性を２つ以上有する固体撮像素子と、
前記固体撮像素子からの撮像信号を処理する画像処理部とを備えた撮像装置であって、
前記画像処理部は、
前記撮像信号に対する、前記異なる光電変換特性を同一にする又は同一に近づける階調変換処理を行う階調変換処理部と、
前記撮像信号に対する、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理を行う色処理部とを備え、
前記階調変換処理部は、前記階調変換処理として、前記撮像信号を対数特性領域の撮像信号と線形特性領域の撮像信号とに分割し、前記対数特性領域の撮像信号及び線形特性領域の撮像信号に対する照明成分の圧縮処理を行うダイナミックレンジ圧縮処理を行い、
前記階調変換処理部による階調変換処理の後に、前記色処理部による色処理を行うことを特徴とする撮像装置。
前記階調変換処理部は、前記異なる光電変換特性を同一にする又は同一に近づける階調変換処理として、高輝度側の光電変換特性を低輝度側の光電変換特性と一致させる又は近似させる処理を行うことを特徴とする請求項１記載の撮像装置。
ホワイトバランス補正処理を行うホワイトバランス補正部をさらに備え、
前記ホワイトバランス補正部は、当該ホワイトバランス補正処理を前記階調変換処理前に行うことを特徴とする請求項１又は２に記載の撮像装置。
前記ホワイトバランス補正部は、ＲＧＢ各色の光電変換特性を該ＲＧＢ各色における基準となる色の光電変換特性に一致させるホワイトバランス補正処理を行うことを特徴とする請求項３記載の撮像装置。
異なる光電変換特性を２つ以上有する固体撮像素子からの撮像信号を画像処理部により処理する画像処理方法であって、
前記撮像信号に対する、前記異なる光電変換特性を同一にする又は同一に近づける階調変換処理を階調変換処理部により行う第１の工程と、
前記撮像信号に対する、少なくとも色補間処理、色補正処理及び色空間変換処理を含む色処理のうちの少なくとも１つの色処理を色処理部により行う第２の工程とを有し、
前記第１の工程で行われる前記階調変換処理として、前記撮像信号を対数特性領域の撮像信号と線形特性領域の撮像信号とに分割し、前記対数特性領域の撮像信号及び線形特性領域の撮像信号に対する照明成分の圧縮処理を行うダイナミックレンジ圧縮処理を行い、
前記第１の工程の後に、前記第２の工程を行うことを特徴とする画像処理方法。