(実施形態1)
以下図面に基づいて、本発明の第1の実施形態につき説明する。
(撮像装置の外観構造の説明)
図1は、第1の実施形態にかかる撮像装置が好適に適用される小型のデジタルカメラ1の外観を示す図であって、図1(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示している。このデジタルカメラ(撮像装置)1は、カメラ本体ボディ10の頂面には電源スイッチ101及びレリーズスイッチ102等が、正面側にはフラッシュ発光部103及び撮影レンズ窓104等が、また背面側にはモード設定スイッチ105などの各種の操作ボタンや液晶モニター(LCD)からなるLCD表示部106等がそれぞれ配置されている。そして本体ボディ10の内部には、各種本体機器のほか、屈曲型の鏡胴20が配置されている。
電源スイッチ101は、カメラ1の電源をON(起動)、OFF(起動停止)するための押下スイッチであり、押下動作によりカメラ電源のON、OFFが順次繰り返される。またモード設定スイッチ105は、静止画を撮影する静止画撮影モードと、動画を撮影する動画撮影モードとの2つのモードを設定するためのものである。
レリーズスイッチ102は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。例えば前記静止画撮影モードにおいて、レリーズスイッチ102が半押しされると、被写体の静止画を撮影するための準備動作(後述の自動露出制御や自動焦点制御等の準備動作)が実行され、レリーズスイッチ102が全押しされると、撮影動作(後述する撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。また、前記動画撮影モードにおいて、レリーズスイッチ102が全押しされると、所定の動画撮影動作が実行され、再度レリーズスイッチ102が全押しされると、動画撮影動作が終了される。
フラッシュ発光部103は、レリーズスイッチ102が半押しされている状態(静止画撮影モード)において、被写体像が暗い場合に発光して被写体を照明する。撮影レンズ窓104は、被写体の光学像を、本体ボディ10の内部に配置された屈曲型鏡胴20へ取り入れるための開口部である。また表示部106は、内蔵する記録媒体に記録された記録画像を再生表示させたり、撮影待機中や動画撮影モードにおいてビデオ撮影された被写体のスルー画像(ライブビュー画像)を表示させたりするものである。なお、前記モード設定スイッチ105以外に、ズームスイッチ、メニュー選択スイッチ、選択決定スイッチ等のプッシュスイッチ群が備えられている。
屈曲型の鏡胴20は、前記撮影レンズ窓104を通して被写体像を取り入れ、本体ボディ10の内部に配置されている撮像センサ30へ導く撮影レンズ系を構成するものである。この鏡胴20は、ズーミングやフォーカシング駆動時においてもその長さが変動しない、つまり本体ボディ10から外部に突出することのない鏡胴である。この鏡胴20の内部には、光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロックからなる撮影光学系を構成するレンズ群21(図2参照)と、このレンズ群21の適所に配置される絞り22とが備えられている。さらに前記レンズ群21の適所にはシャッタ23が配置されており、該シャッタ23の開閉動作により撮影光学系の光路が遮光若しくは通光されるようになっている。すなわち、絞り22の開口面積設定度合い及びシャッタ23の開閉動作制御等により、撮像センサ30の露光量が制御されるものである。
(撮像装置の電気的構成の全体的な説明)
図2は、本実施形態に係るデジタルカメラ1による撮像処理ブロック図である。このデジタルカメラ1は、操作部100、上述した屈曲型の鏡胴20、撮像センサ30、信号処理部40、全体制御部50、及び駆動部60などを備えている。なお操作部100は、前記で説明した電源スイッチ101、レリーズスイッチ102及びモード設定スイッチ105などからなる。
撮像センサ30は、鏡胴20内のレンズ群21により結像された被写体光像の光量に応じ、R(赤)、G(緑)、B(青)の各成分の画像信号(撮像センサ30の各画素で受光された画素信号の信号列からなる信号)に光電変換して信号処理部40へ出力するものである。本実施形態においては、この撮像センサ30として、入射光量に対して出力画素信号(光電変換により発生する出力電気信号)が線形的ではなく対数的に変換されて出力される対数変換型固体撮像素子が用いられる。なお当該撮像センサ30は、入射光量が少ない場合は、出力画素信号が線形的に変換されて出力される特性を有しており、その光電変換特性が線形的である領域(線形特性領域=暗時)と対数的である領域(対数特性領域=明時)とを備えている。さらに前記線形特性領域と対数特性領域との切り替り点(変曲点)が、特定の制御信号(後述するダイナミックレンジ制御信号)により任意に制御可能とされている。この撮像センサ30の構成、動作等については後に詳述する。
タイミング生成回路(タイミングジェネレータ)31は、撮像センサ30による撮影動作(露光に基づく電荷蓄積や蓄積電荷の読出し等)を制御するものである。タイミング生成回路31は、全体制御部50からの撮影制御信号に基づいて所定のタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等)を生成して撮像センサ30に出力し、動画撮影モード時(スルー画表示モード時)には、例えば1/30(秒)毎にフレーム画像を取り込み、順次信号処理部40に出力させる。また、静止画撮影モード時の露光中には撮像センサ30の露光動作に連動して電荷を蓄積させ(すなわち、被写体光像を画像信号に光電変換させ)、その蓄積電荷を信号処理部40に出力させる。さらにタイミング生成回路31は、後述のA/D変換器402において用いられるA/D変換用のクロックも生成する。
信号処理部40は、撮像センサ30から送出される画像信号に所定のアナログ信号処理およびデジタル信号処理を施すもので、前記画像信号の信号処理は、該画像信号を構成するそれぞれの画素信号ごとに行われる。この信号処理部40は、アナログ信号処理部401、A/D変換器402、黒基準補正部403、FPN補正部404、評価値検出部405、ホワイトバランス制御部406、色補間部407、3×3色補正部408、階調変換部409、ノイズキャンセル部410及び画像メモリ411を備えている。
アナログ信号処理部401は、撮像センサ30から出力される画像信号(撮像センサ30の各画素で受光されたアナログ信号群)に所定のアナログ信号処理を施すもので、アナログ画像信号に含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)と、アナログ画像信号のレベルを補正するAGC回路(オートゲインコントロール回路)とを備えている。なおAGC回路は、適正露出が得られなかった場合等に、後段のA/D変換器402の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。
A/D変換器402は、アナログ信号処理部401から出力されるアナログ画像信号を、例えば12ビットのデジタル画像信号(画像データ)に変換する役目を果たす。このA/D変換器402は、前記タイミング生成回路31から入力されるA/D変換用のクロックに基づいて、アナログ画像信号をデジタル画像信号に変換する。
黒基準補正部403は、A/D変換器402から入力されるデジタル画像信号の黒レベル(暗黒時の画像信号レベル)を基準の値(例えば、A/D変換後のデジタル信号レベルで0)に補正するために、A/D変換器402から入力される画像信号レベルをSD1とし、また暗黒時の画像信号レベルをSD2とするときに、
SD1−SD2
の演算を行う。なお、かかる黒基準補正は、全体制御部50から入力される撮像センサ30の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、本実施形態にかかるデジタルカメラ1においては、撮像センサ30の光電変換特性が制御可能とされており、従ってA/D変換器402から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ30の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正が行えるようにするためである。
FPN(Fixed Pattern Noise)補正部404は、黒基準補正部403から入力される画像信号のFPN(固定パターンノイズ)を除去するためのものである。固定パターンノイズとは、撮像センサ30の各画素回路が備えるFETの閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。FPN補正部404は、黒基準補正部403から入力される画像信号レベルをSD3とし、また黒基準補正部403から入力される画像信号の固定パターン成分をSD4とするとき、
SD3−SD4
の演算を行う。
評価値検出部405は、撮像センサ30で実際に撮影された画像信号から、自動露出制御(AE)、自動焦点制御(AF;オートフォーカス)、或いはホワイトバランス制御等を行うに際してのベース値となる評価値、すなわちAE評価値、AF評価値、ホワイトバランス評価値(以降、WB評価値という)等を検出する。例えばAE制御を行う場合、
(1)撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
(2)その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
(3)前記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部405においては、前記ステップ(1)の役目を担うべく、撮像センサ30で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがAE評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作用に供される。
またAF制御の場合は、例えばフォーカスレンズ(レンズ群21)の光軸方向の駆動と撮像センサ30による撮像動作とを交互に行いながら、その撮像動作により得た画像のコントラストが最大となるフォーカスレンズの位置が求められ(所謂山登り検出方式)、これがAF評価値として全体制御部50へ出力され、後段ステップにおけるAF制御動作の用に供される。さらにホワイトバランス制御は、出力画像の色を被写体の光源色に適したものに補正することを目的とするもので、この場合、前段のFPN補正部404から入力される画像信号に基づいてR、G、B各色の輝度比及び輝度差が評価値検出部405で算出され、これがWB評価値として全体制御部50へ出力されるものである。これら評価値の具体的な取得方法等については、後に詳述する。
ホワイトバランス制御部406は、全体制御部50から与えられる撮像ダイナミックレンジ情報と前記WB評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各色成分R、G、Bの各画素データのレベルを変換する補正を行う。なお本実施形態では、撮像センサ30として線形特性領域と対数特性領域とを備えるものを用いることから、線形特性領域及び対数特性領域ごとにWB評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。
色補間部407は、ホワイトバランス制御部406から入力される画像信号の各色成分R、G、Bごとに、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、本実施形態で用いられる対数変換型の撮像センサ30のカラーフィルタ構造は、Gが市松状でR、Bが線順次配列された所謂ベイヤー方式が採用されている関係上、色情報が不足していることから、色補間部407は、実在する複数の画素データを用いて実在しない画素位置の画素データを補間するものである。
具体的には色補間部407は、高帯域まで画素を持つGの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン(中間値)フィルターを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、R,Bの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。
図3に、撮像センサ30のカラーフィルタ構造の一例を示す。かかるカラーフィルタ構造において、前記色補間による各画素における色成分R、G、Bの画像信号は、例えば以下のようにして生成される。
(イ)アドレス11(B11)の色補間式
R11=(R00+R20+R02+R22)/4
G11=(Gr10+Gb01+Gb21+Gr12)/4
B11=B11
(ロ)アドレス12(Gr12)の色補間式
R12=(R02+R22)/2
G12=Gr12
B12=(B11+B13)/2
(ハ)アドレス21(Gb21)の色補間式
R21=(R20+R22)/2
G21=Gb21
B21=(B11+B31)/2
(ニ)アドレス22(R22)の色補間式
R22=R22
G22=(Gb21+Gr12+Gr32+Gb23)/4
B22=(B11+B31+B13+B33)/4
3×3色補正部408は、色補間部407から入力される色成分R、G、Bの画像信号の彩度を補正(色合いを補正)するものである。3×3色補正部408は、色成分R、G、Bの画像信号のレベル比を変換する3種類の変換係数を有し、撮影シーンに応じた変換係数で前記レベル比を変換して画像データの彩度を補正する。例えば、a1〜c3の合計9個の変換係数を用い、次のように画像信号を線形変換する。
R´=a1*R+a2*G+a3*B
G´=b1*R+b2*G+b3*B
B´=c1*R+c2*G+c3*B
階調変換部409は、3×3色補正部408から入力される色成分R、G、Bの画像信号が適切な出力レベルになるよう、画像信号のレベルを色成分毎に所定のガンマ特性を用いて非線形変換すると共にオフセット調整する。すなわち階調変換部409は、ホワイトバランス調整及び色補正がなされた画像信号の階調特性(γカーブやデジタルゲイン)を、LCD表示部106や外部出力されるモニターテレビ等の階調特性に補正するものである。階調変換部409においては、全体制御部50から入力されるダイナミックレンジ情報と、評価値検出部405で検出されたAE評価値等に基づいて、画像信号の階調特性を変化させる。
ノイズキャンセル部410は、階調変換部409から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを良好な状態に補正するものである。ノイズキャンセル部410は、全体制御部50から入力されるダイナミックレンジ情報に基づいて、コアリング係数(画像信号のノイズ成分のみを除去し、エッジ成分を抽出する係数及び強調する係数)を変化させることで、適正な補正を行う。
画像メモリ411は、ROMやRAM等のメモリからなり、信号処理部40での信号処理を終えた画像データを一時的に保存するもので、例えば1フレーム分の画像データを記憶し得る容量を有している。
メモリカードI/F部412は、信号処理部40で生成されたメモリカード記録用画像データを、メモリカード107に記録させるべく出力するためのインターフェイスである。またメモリカード107は、静止画像や動画像などの画像データを記録して保存しておくためのメモリであって、デジタルカメラ1に対して取り外し自在とされており、外部の記録媒体との画像データ交換を可能とするものである。LCD表示I/F部413は、信号処理部40で生成されたLCD表示用画像データを、例えばNTSC方式若しくはPAL方式の画像信号に変換してLCD表示部106に出力するためのインターフェイスである。
全体制御部50は、CPU(中央演算処理装置)等からなり、デジタルカメラ1の撮影動作を集中制御するものである。すなわち全体制御部50は、前記信号処理部40の各部から送られてくる情報(前述のAE評価値、AF評価値、WB評価値等)と、本デジタルカメラ1の動作モード等に基づき、信号処理部40の各部が必要とするパラメータ等の動作情報を算出して送信することで、各処理部の動作を制御する。このほか全体制御部50は、撮影動作のためのタイミング生成回路31の制御、レンズ群21のズーミングやフォーカシング駆動、並びに絞り22及びシャッタ23の駆動のための駆動部60の制御、画像信号の出力制御などを行う。
図4は、全体制御部50の機能を説明するための機能ブロック図である。全体制御部50は、情報受信部501及び情報送信部502、メモリ部515を具備する演算部510、制御信号発生部520及び入出力部530を備えている。
情報受信部501は、信号処理部40の評価値検出部405にて検出されるAE評価値、AF評価値及びWB評価値を取得し、これらを演算部510が備える各パラメータ算出部へ振り分けて送信する。一方、情報送信部502は、信号処理部40において必要とされる情報(ダイナミックレンジ情報やコアリング係数等)をメモリ部515から適宜取り出し、信号処理部40の各処理部に適時振り分けて送信する。
演算部510は、前記情報受信部501から与えられる評価値に基づいて制御パラメータを算出する動作を為すもので、露光量制御パラメータ算出部511及びダイナミックレンジ制御パラメータ算出部512からなるAE制御パラメータ算出部5110、AF制御パラメータ算出部513、ホワイトバランス制御パラメータ算出部514及びメモリ部515を備えている。
前記メモリ部515はROMやRAM等からなり、撮像センサ30のダイナミックレンジ情報、すなわち光電変換特性の設定値を記憶する光電変換特性情報記憶部516、ノイズキャンセル部410において用いられるコアリング係数の設置位置を記憶するコアリング係数記憶部517、撮像センサ30の線形特性領域と対数特性領域とで得られたデータを相互変換するLUT(Look Up Table)等を記憶するLUT記憶部518等から構成されている。なお、光電変換特性情報記憶部516には、光電変換特性そのもの(後述する図10に示すような光電変換特性曲線)が記憶される構成であってもよい。また、LUT記憶部518は、上記LUTの他に、後述する露光時間や絞りの開口面積の値と露光時間設定値や絞り設定値とのデータ変換を行うLUT、光電変換特性の変曲点の値(出力レベル)と光電変換特性設定値とのデータ変換を行うLUT、飽和画素数の値と変曲点変化量の値とのデータ変換を行うLUT、最大輝度レベルから光電変換設定値を出力するLUT若しくは最大輝度出力レベルの変化量から光電変換設定値の変化量を出力するLUT等、種々のデータ変換用のLUTを記憶している。また、上述した通り、光電変換特性情報記憶部516、コアリング係数記憶部517及びLUT記憶部518に記憶されているデータ値は、適宜情報送信部502から信号処理部40の適所へ送信されるようになっている。
AE制御パラメータ算出部5110は、被写体の輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30の光電変換特性とに設定するための制御パラメータを算出する。すなわち、AE制御パラメータ算出部5110の露光量制御パラメータ算出部511は、露光時間や絞りを最適化するための制御パラメータを算出するもので、露光量制御パラメータ算出部511は評価値検出部405にて検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30のダイナミックレンジ情報(光電変換特性)とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値を算出する。
またダイナミックレンジ制御パラメータ算出部512は、被写体輝度に応じ撮像センサ30の光電変換特性を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512は、例えばダイナミックレンジ設定用の被写体輝度が、当該撮像センサ30における所望の飽和出力レベルになるような光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30のダイナミックレンジ情報が参照される。このAE制御パラメータ算出部5110の動作等については、後に詳述する。
AF制御パラメータ算出部513は、評価値検出部405にて検出されるAF評価値に基づいて、被写体の撮影にあたり最適な焦点距離に設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域の特徴を活用して粗測距(対数特性領域から得たAF評価値)用、詳測距(線形特性領域から得たAF評価値)用の制御パラメータを算出するよう構成することが好ましい。
ホワイトバランス制御パラメータ算出部514は、評価値検出部405にて検出されるWB評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、同様に参照するWB評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域に応じた制御パラメータを算出するよう構成することが好ましい。
制御信号発生部520は、前記演算部510で算出された各種の制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するもので、該制御信号発生部520は、ダイナミックレンジ制御信号発生部521、センサ露光時間制御信号発生部522、シャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525を備えて構成されている。
ダイナミックレンジ制御信号発生部521は、前記ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替える出力レベルポイント(変曲点)を調整する撮像センサ30の駆動信号を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を駆動させる。具体的には、後述するように撮像センサ30の光電変換特性は、当該撮像センサ30に対する信号φVPS(φVPSにおける電圧VPHの高さ、あるいは時間ΔTの長さ)を制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521は、光電変換特性設定値に応じて、前記信号φVPSを制御するためのタイミング生成回路31に対する駆動信号を制御することで、撮像センサ30のダイナミックレンジを被写体の輝度に適するよう制御する。
センサ露光時間制御信号発生部522は、撮像センサ30の露光時間(積分時間)を、絞り22やシャッタ23等のメカ操作に依らず、電子回路的な制御動作により制御するための制御信号を発生するものである。センサ露光時間制御信号発生部522は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、所期の露光時間が確保されるよう撮像センサ30の駆動信号(具体的には、後述するように撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを制御する信号)を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
シャッタ制御信号発生部523は、同様に露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、シャッタ23のシャッタスピードを露光時間に合わせて設定する制御信号を生成する。またズーム/フォーカス制御信号発生部524は、前記AF制御パラメータ算出部513にて算出された最適な焦点距離に基づいて、レンズ群21を駆動させるための制御信号を生成する。さらに絞り制御信号発生部525は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、絞り22の開口面積を設定する制御信号を生成する。これらシャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525にて生成された制御信号は、駆動部60の対応箇所へそれぞれ送信される。
入出力部530は、メモリカードI/F部412及びLCD表示I/F部413と接続され、操作部100からの指示信号等に対応して、撮影画像に対して所定の画像処理を行った後、その撮影画像信号をメモリカード107に記録させたり、LCD表示部106に表示させたり、或いは逆にメモリカード107から画像信号を取り入れたりする出入力作用を為す。
図2に戻って、駆動部60は、前記制御信号発生部520で生成された制御信号に基づいて、実際に当該デジタルカメラ1が具備するメカ駆動部を動作させるもので、シャッタ駆動部61、ズーム/フォーカス駆動部62及び絞り駆動部63を備えている。
シャッタ駆動部61は、前記シャッタ制御信号発生部523から与えられる制御信号に応じて、シャッタ23が所定時間開放されるようシャッタ23を開閉駆動する。ズーム/フォーカス駆動部62は、ズーム/フォーカス制御信号発生部524から与えられる制御信号に応じて、レンズ群21のズームレンズブロックまたはフォーカスレンズブロックを動作させるモータ等を動作させ、前記レンズブロックを焦点位置に移動させる。さらに絞り駆動部63は、絞り制御信号発生部525から与えられる制御信号に応じ、絞り22を駆動し、所定の開口量に絞りを設定するものである。
(動作の全体的なフローの説明)
以上の通り構成された本実施形態にかかるデジタルカメラ1の動作につき、先ず全体的なフローを説明する。図5は、デジタルカメラ1の全体的な動作の一例を示すフローチャートである。図示する通り、動作を大略的に区分すると、AE評価値、AF評価値、及びWB評価値等の評価値を検出する評価値検出ステップ(ステップS1)と、得られた評価値に基づき各種パラメータを算出する制御パラメータ算出ステップ(ステップS2)と、算出された各種パラメータを該当するデジタルカメラ1各部に設定し、当該パラメータに応じた撮影状態となるようにデジタルカメラ1各部を駆動する制御パラメータを設定する制御パラメータ設定ステップ(ステップS3)とからなる。
このような動作フローにあって、本実施形態においては、ステップS1で検出されたAE評価値に基づいて、ステップS2のAE制御のための制御パラメータ算出を行うに際し、前記AE評価値の中から露出設定用の被写体輝度を定め、該露出設定用の被写体輝度に相当する撮像センサ30の出力が、当該撮像センサ30の線形特性領域で得られるようAE制御を行う点に特徴がある。かかる特徴点を適宜強調しつつ、以下、前記各ステップS1〜S3を順次説明する。
前記各ステップS1〜S3においては、具体的には以下の処理が行われる。
先ず、評価値検出ステップS1では、各種の制御のベースとなる評価値情報を取得し、該評価値情報に基づいて評価値を算出する。AE制御の場合は、撮像ターゲットとなる被写体の輝度レベルが計測(検出)され、この計測値からAE評価値が算出されることとなる。前記輝度レベル及び輝度範囲の検出に際しては、撮像センサ30により実際に撮像された撮影画像から求めることが合理的であり、撮像センサ30は静止画及び動画の撮像が可能であることから、
(ステップS1−1)静止画からの検出:撮像センサ30により、評価値検出用の画像を本撮影前の静止画にて取得して輝度レベル及び輝度範囲を計測する。
(ステップS1−2)動画からの計測:撮像センサ30により、評価値検出用の画像を本撮影前の動画にて取得して輝度レベル及び輝度範囲を計測する。
という2通りの輝度情報の取得ステップを例示することができる。しかる後、
(ステップS1−3)評価値の算出:取得した画像の輝度情報に基づいてAE評価値を含む各種評価値を評価値検出部405により算出する。
というステップが行われる。
次にステップS2では、評価値に基づき各種パラメータが算出されるが、AE制御の場合は、露光量又はダイナミックレンジがAE制御の要素となることから、これらの制御パラメータが、前記AE評価値に基づいて算出される。すなわちステップS2としては、
(ステップS2−1)露光量制御パラメータの算出:全体制御部50により、AE評価値に基づいて露光量制御パラメータを算出する。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出:全体制御部50により、AE評価値に基づいてダイナミックレンジ制御パラメータを算出する。
という2通りのパラメータ算出ステップを例示することができる。
最後にステップS3では、デジタルカメラ1各部を駆動する制御パラメータの設定が為される。AE制御の場合は、前記(ステップ2−1)又は(ステップ2−2)に基づく制御パラメータの設定が行われる、すなわちステップS3としては、
(ステップS3−1)露光量制御パラメータの設定:算出された露光量制御パラメータに基づいてメモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31や駆動部60を動作させる。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定:算出されたダイナミックレンジ制御パラメータに基づいて、メモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31を動作させる。
という2通りのパラメータ設定ステップを例示することができる。
(本実施形態で用いる撮像センサの基本的特性について)
以下、上述した各ステップにつき順次詳述するが、本実施形態においては、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ30を用いることが前提とされている関係上、先ず本実施形態で用いられる撮像センサ30の基本的特性について、その具体的な一例を詳述する。
図7は、撮像センサ30の一例である二次元のMOS型固体撮像装置の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、前記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図7では図示を省略している。
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT5と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタ(MOSトランジスタ)を設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
図8は、図7に示す各画素G11〜Gmnの回路構成例を示している。同図に示すように、画素は、フォトダイオードPD、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT1〜T6、及び積分用のコンデンサとしてのキャパシタCから構成されている。トランジスタT1〜T6は、ここではPチャンネルMOSFETが採用されている。φVD、φV、φVPS、φRST、φS及びRSBは、各トランジスタやキャパシタCに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPDは、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD)を出力する。トランジスタT5は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧VOUTに対する増幅(電流増幅)を行う。トランジスタT6は、ゲートに印加する電圧に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。すなわち、トランジスタT6のソースは、図7に示す出力信号線306に接続されており、オンした場合、トランジスタT5で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT2は、同トランジスタのゲートに、光電流IPDに対して線形変換又は対数変換した電圧を発生させる。ところで、MOSFETでは、ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れるが、トランジスタT2はこのサブスレッショルド特性を利用して前記線形変換又は対数変換を行う。
具体的には、撮像する被写体の輝度が低い(被写体が暗い)場合、すなわち、フォトダイオードPDに入射される入射光量が少ない場合には、トランジスタT2のゲート電位が同トランジスタのソース電位より高くなっており、トランジスタT2が所謂カットオフ状態でありトランジスタT2にサブスレッショルド電流が流れず(トランジスタT2がサブスレッショルド領域で動作せず)、フォトダイオードPDで発生する光電流がフォトダイオードPDの寄生容量に流れて電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときT1はオンされているので、上記の寄生容量に蓄積された電荷の量に応じた電圧が、電圧VGとしてトランジスタT2、T3のゲートに発生する。この電圧VGにより、トランジスタT3に電流が流れ、この電圧VGに比例した量の電荷がキャパシタCに蓄積される(トランジスタT3とキャパシタCとで積分回路を構成している)。そして、トランジスタT3とキャパシタCとの接続ノードa、すなわち出力VOUTには、光電流IPDの積分値に対して線形的に比例した電圧が現れる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を線形的に変換した値となっている。これが当該撮像センサ30の、線形特性領域における動作である。
一方、撮像する被写体の輝度が高く(被写体が明るく)、フォトダイオードPDに入射される入射光量が多い場合には、トランジスタT2のゲート電位が同トランジスタのソース電位以下となり、トランジスタT2にサブスレッショルド電流が流れ(トランジスタT2がサブスレッショルド領域で動作し)、光電流IPDを自然対数的に変換した値の電圧VGがトランジスタT2、T3のゲートに発生する。そして、この電圧VGにより、トランジスタT3に電流が流れ、キャパシタCに、光電流IPDの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタCとトランジスタT3との接続ノードa(出力VOUT)には、光電流IPDの積分値を自然対数的に変換した値に比例した電圧が生じる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を自然対数的に変換した値となっている。これが当該撮像センサ30の、対数特性領域における動作である。以上のように、各画素によって、入射光量(被写体輝度)に応じて線形的又は自然対数的に比例した電圧が出力される。
トランジスタT1は、リセット時のノイズデータ(トランジスタT2の製造バラツキに起因して発生するノイズ信号)を取り出す際に用いるスイッチである。トランジスタT1は、リセット時以外にはオン状態とされており、トランジスタT2(のドレイン)及びフォトダイオードPD間に光電流IPDが流れるようになっている。リセット時には、オフ状態となりフォトダイオードPDの光電流IPDが遮断され、前記のバラツキ分だけが取り出される。この取り出されたバラツキ分(ノイズ信号)は、後述の映像信号から減算される。
トランジスタT4は、該トランジスタT4のゲートに印加される電圧に応じてオン、オフされるスイッチとして動作する、キャパシタCをリセットするためのトランジスタである。トランジスタT4がオンされるとリセット電圧(前記信号RSBの電圧)が印加され、キャパシタCに蓄積されていた電荷(電荷量)が元の状態、すなわち積分開始前の状態に戻される。
図9は、撮像センサ30(画素)の撮像動作に関するタイミングチャートの一例である。ここではPチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオフ、Low(ロー)でオンとなる。先ず、信号φVが符号311に示す位置でLowとなり、トランジスタT6がオンされ、映像信号が読み出される、すなわちキャパシタCに蓄積されている電荷が出力電流(映像信号)として出力信号線306に導出される。次に信号φSが符号312に示す位置でHiとなり、トランジスタT1がオフされてフォトダイオードPDが切り離される。次に信号φVPSが符号313に示す位置でHiとなり、トランジスタT2のリセットが行われる。また、トランジスタT2がリセットされるのと同時に、信号φRSTが符号314に示す位置でLowとなり、トランジスタT4がオンされ、キャパシタC(接続ノードa)に信号RSBによるリセット電圧が印加されて(接続ノードaの電位がRSBの電位(VRSB)となり)、キャパシタCの(電荷の)リセットが行われる。このようにトランジスタT2及びキャパシタCがリセットされた後、符号315に示す位置で信号φVが再度LowとなってトランジスタT6がオンされ、出力信号線306にノイズ信号が導出される。
次に、信号φSが符号316に示す位置でLowになり(トランジスタT1がオンされ)、フォトダイオードPDの切り離しが解除される。そして、信号φVPSが符号318に示す位置で中電位Mとなって、残像低減のためにフォトダイオードPDの寄生容量のリセットを行う。また、次フレームの積分開始電圧を一定にするために、信号φRSTが符号317に示す位置で再度LowとなってトランジスタT4がオンされ、キャパシタCのリセットが再度行われる。
その後、信号φVPSが符号319に示す位置でLowになり、フォトダイオードPDの寄生容量のリセットが終了する。併せて、信号φRSTもHiとなりキャパシタCのリセット動作も終了される。このときの時刻t1からキャパシタCの積分が開始され、信号φVの符号311に示す位置、すなわち次フレームにおける映像信号の読み出しが開始される時刻t2までの間、当該積分が継続される。この時刻t1、t2間の時間がキャパシタCの積分時間、すなわち撮像における露光時間となる。この露光時間は、前記中電位Mとなる信号φVPSを与える時間ΔS(長さ)を制御することで制御される。この時間ΔSは、タイミング生成回路31を介したセンサ露光時間制御信号発生部522によって制御される。
信号φVDは、前記増幅回路(ソースフォロワアンプ)の動作範囲に合わせ込むべく、あるいは映像信号やノイズ信号に発生するオフセットの調整を行うべく電位操作を行うものである。信号φVDのVh、Vm及びVlは、それぞれ高電位、中電位及び低電位を示している。
撮像センサ30は、上述のように被写体の輝度に応じて線形変換又は対数変換した出力信号を得ることが可能であり、図10に示すような光電変換特性320を有している。同図に示すように、光電変換特性320は、変曲点321を境にして線形特性領域と対数特性領域とに分かれている。この変曲点321は、線形特性領域から対数特性領域へ切り替る点であり、この変曲点321のセンサ出力の値をVthで示している。一般的に、線形特性領域では、幅広い輝度範囲の被写体の撮像は不可能であるものの(ダイナミックレンジが狭い)、画像全体の階調性を高くすることができ(高いコントラストを得ることができ)、暗い被写体(例えば曇天時や日陰での被写体)であっても階調性豊かな高品位な画像を得ることができる。一方、対数特性領域では、高輝度での階調性は乏しくなるが、幅広い輝度範囲の被写体の撮像が可能であり(ダイナミックレンジが広い)、明るい被写体(例えば直射日光が照射されていたり、直射日光が背後に存在したりする被写体)であっても、暗い部分も含め、奥行きのある高品位な画像を得ることができる。
ところで、この光電変換特性320(変曲点321)は、トランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させることにより変化(移動)させることができる。すなわち、当該Hi時の電圧をVPHとし、Low時の電圧をVPLとすると、電圧の差ΔVPS(=VPH−VPL)(図9参照)を変化させることにより、図11に示すように、光電変換特性320(変曲点321)から、光電変換特性322(変曲点324)や光電変換特性323(変曲点325)へ任意に変化させることができる。このように光電変換特性が変化することにより、線形特性領域と対数特性領域との比率が変化し、光電変換特性322に示すように線形特性領域の割合が大きな光電変換特性、あるいは光電変換特性323に示すように対数特性領域の割合が大きな光電変換特性を得ることができる。この場合、光電変換特性の全てが線形特性領域又は対数特性領域となるように変化させてもよい。
本実施形態では、電圧VPHを変化させることによりΔVPSを変化させ、撮像センサ30の光電変換特性を変化させている。図11では、VPHが高くなるほど(ΔVPSが大きくなるほど)、線形特性領域の割合が増えて光電変換特性322側へ変化し、VPHが低くなるほど(ΔVPSが小さくなるほど)、対数特性領域の割合が増えて光電変換特性323側へ変化する。この電圧VPHは、タイミング生成回路31を介したダイナミックレンジ制御信号発生部521によって制御される。
なお、光電変換特性を上述のように変化させるために、電圧VPHとなる信号φVPSを与える時間ΔTを変化させてもよい。この場合、時間ΔTを長いほど線形特性領域の割合が大きくなり、短いほど対数特性領域の割合が大きくなるように光電変換特性が変化する。図11では、前記時間ΔTが長い場合が光電変換特性322に、時間ΔTが短い場合が光電変換特性323に相当する。
(評価値検出ステップS1)
続いて、信号処理部40の評価値検出部405におけるAE評価値等の評価値の具体的な取得方法について説明する。
(ステップS1−1)静止画からの評価値検出例
図12は、上述した撮像センサ30が実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本実施形態にかかるデジタルカメラ1で静止画を撮影(本撮影)する場合において、その本撮影の前にAE評価値を取得するための静止画を撮影(予備撮影)し、該予備撮影画像に基づいてAE評価値を算出するフローを示している。この評価値検出手法は、デジタル一眼レフカメラ等の、撮影準備段階において被写体光像が光学ファインダに入射され撮像センサ30には入光しないタイプの撮像装置に好適な手法である。
先ず、本デジタルカメラ1の電源スイッチ101が押下され電源ONとされている状態において、撮影開始の操作が為されたかが確認され(ステップS111)、レリーズスイッチ102が操作(例えば半押し操作)されると(ステップS111でYes)、予備撮影準備の動作が開始される(ステップS112)。
ステップS112では、AE評価値を算出するために予備撮影を行うに当り、当該予備撮影のためのダイナミックレンジ制御が行われる。ここでのダイナミックレンジ制御は、被写体の輝度を広い範囲で感知できるよう、撮像センサ30が最大のダイナミックレンジを備えるように制御される。つまり、デジタル一眼レフカメラ等においては、予備撮影のチャンスは本撮影の前の1回しかないことから、いかなる被写体であってもその輝度を確実に検出できるよう、広いダイナミックレンジに設定される。
このため、撮像センサ30が全領域において対数変換出力動作をなすよう、撮像センサ30の動作状態が制御される。具体的には、レリーズスイッチ102が半押しされると、全体制御部50から予備撮影モードへの移行指示が各部に出され、これを受けてダイナミックレンジ制御信号発生部521が、例えば図8に示すトランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させる(この場合、前述のΔVPSを小さくする。図9参照)信号を発生し、これにより撮像センサ30の対数領域の割合が増加されるよう制御される。なお、広いダイナミックレンジを確保するという観点からは全領域を対数領域とすることが望ましいが、必ずしも全領域を対数領域に変換せずとも良く、ある程度線形領域が残存していても良い。
続いて、予備撮影のための露出制御が行われ、予備撮影が行われる(ステップS113)。具体的には、例えばセンサ露光時間制御信号発生部522が、前記信号φVPSが中電位Mとなる時間ΔSの長さを所定の露光時間に合わせて設定する駆動信号を生成し、これをタイミング生成回路31に送ることで撮像センサ30の予備撮影用露出制御(露光量制御)が行われる。この他、シャッタ制御信号発生部523によって生成された制御信号に基づくシャッタ駆動部61によるシャッタ23のシャッタスピードの調整、及び絞り制御信号発生部525によって生成された制御信号に基づく絞り駆動部63により絞り22の調整によっても露出制御が行われる。このような露出制御が為された上で、静止画の予備撮影が行われる。そして、撮影された予備撮影画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS114)。このAE評価値算出ステップについては、後記で詳述する。AE評価値が算出されると予備撮影は終了し(ステップS115)、当該AE評価値に基づく露出制御が行われた上で本撮影が開始されることとなる(ステップS116)。なお、以上はAE評価値を取得する場合について説明したが、AF評価値やホワイトバランス評価値についても同様にして取得することができる。
(ステップS1−2)動画からの評価値検出例
図13は、撮像センサ30が継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本デジタルカメラ1が撮影待機中にある場合や、動画撮影モードにある場合、或いは本実施形態の撮像装置をデジタルムービィに適用した場合において、撮像センサ30が撮像している全てのフレーム画像を用いて、AE評価値を算出するフローを示している。
先ず、撮影開始の操作が為されたかが確認され(ステップS121)、例えばモード設定スイッチ105が操作されて動画撮影モードに移行され撮影開始が確認されると(ステップS121でYes)、動画の撮影が開始される(ステップS122)。この撮影開始時における撮像ダイナミックレンジ、露光時間、及び絞り等の各制御値は、初期設定値とされる。
続いて、ステップS122において撮像された画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS123)。そして検出されたAE評価値に基づいて、ダイナミックレンジ制御信号発生部521により信号φVPSの設定を変化させてダイナミックレンジを制御し、またシャッタ駆動信号発生部523及び絞り制御信号発生部525にて生成される制御信号により絞りを制御する等して、所定の撮像AE制御が行われる(ステップS124)。
そして撮影が終了したかが確認され(ステップS125)、撮影の終了指令が無い場合は(ステップS125でNo)、前記ステップS123に戻り同様なAE評価値算出、及びステップS124の撮像AE制御が繰り返されるものである。すなわち、動画撮影が行われているときに、その撮影画像の全てがAE評価値検出のための評価画像として活用され、得られたAE評価値に基づいて次の撮影のための撮像AE制御が行われるというサイクルが繰り返されるものである。なお、撮影画像の全てを評価画像とせず、撮影画像の一部(例えば撮影画像の数フレームに1枚の割合)を評価画像とし、該評価画像からAE評価値を取得するようにしても良い。
(ステップS1−3)評価値の算出
次に、上記のフローにおける評価値算出のステップ(上記ステップS113、S123)について詳述する。図14は、評価値検出部405のブロック図である。評価値検出部405は、分割測光部4051、ヒストグラム算出部4052及び飽和判別部4055を備えている。
分割測光部4051は、被写体に対する分割測光(マルチパターン測光)方式による測光を行うものである。すなわち、分割測光部4051は、撮像センサ30による撮像によって得られた撮影画像を所定数の領域(及び区画)に分割し、当該撮影画像(各領域や区画)における輝度を画像信号(画像データ)から検出するものである。図15は、分割測光における撮像領域(測光範囲)の分割の状態を示す図である。符号330は、撮像センサ30による撮像によって得られた撮像領域(撮像領域330)であり、この撮像領域330において被写体が撮影(撮像)される。この撮像領域330には撮像センサ30を構成する撮像素子に対応した多数の画素情報、すなわち被写体の輝度情報が含まれている。撮像領域330は、例えば撮像領域330の中央部である中央領域と、この中央領域の周辺部である周辺領域とに区分されており、さらに中央領域及び周辺領域はそれぞれ所定数の検出ブロック(検出区画)に分割されている。中央領域は、例えばA、B、C、・・・Z、AA、AB、・・・AJブロック(A〜AJブロック)といった36個の検出ブロックに分割されており、周辺領域は、例えば第1〜第16ブロックといった16個の検出ブロックに分割されている。本実施形態では、この中央領域に撮像されている被写体を主被写体とし(以降、中央領域のことを主被写体領域331という)、周辺領域に撮像されている被写体を周辺被写体と称する(以降、周辺領域のことを周辺被写体領域332という)。なお、主被写体領域331の中央部におけるO、P、U及びVブロックから形成される領域は、フォーカス制御のためのAF評価値の検出が行われるAF領域(AF領域333)となっている。また、主被写体領域331における(撮影画像の)輝度を主被写体輝度、周辺被写体領域における輝度を周辺被写体輝度という。
ヒストグラム算出部4052は、各A〜AJブロック毎の主被写体輝度ヒストグラム(分布)を算出すると共に、このA〜AJブロック毎の主被写体輝度ヒストグラムを用いて、図16(a)に示すような主被写体領域331全体における主被写体全体輝度ヒストグラムを算出する。また、各第1〜第16ブロック毎の周辺被写体輝度ヒストグラムを算出すると共に、この第1〜第16ブロック毎の主被写体輝度ヒストグラムを用いて、図16(b)に示すような周辺被写体領域332全体における周辺被写体全体輝度ヒストグラムを算出する。
また、ヒストグラム算出部4052は、前記算出した主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを用いて、主被写体全体の輝度範囲及び周辺被写体全体の輝度範囲を算出する。この算出の際、所定の閾値を用いて足切りを行う。すなわち、主被写体においては、図16(a)に示すように閾値D1にて足切りを行い、D1以上の度数を有する輝度の最小値L1〜最大値L8の範囲を主被写体全体輝度範囲とする。同様に、周辺被写体においては、図16(b)に示すように閾値D2にて足切りを行い、D2以上の度数を有する輝度の最小値L12〜最大値L19の範囲を主被写体全体輝度範囲とする。この閾値による「足切り」は、ノイズ等による誤差を低減するために行われる。なお、図16の各輝度ヒストグラムの輝度(画像(輝度)データ)は、ここでは説明の便宜上、L1〜L19などとしているが、実際には、例えば8ビットでの画像データを扱う場合には、256段階(階調)で表し、例えばL1〜L256となる。
ヒストグラム算出部4052は、平均輝度算出部4053及び最大/最小輝度算出部4054を備えている。平均輝度算出部4053は、各A〜AJブロック毎の主被写体の平均輝度、及び各第1〜第16ブロック毎の周辺被写体の平均輝度を算出する。この平均輝度は、R、G、Bの各色に対して算出される。当該平均輝度の算出においては、各A〜AJブロック及び各第1〜第16ブロック毎にそれぞれ主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムを算出し、前記と同様に所定の閾値を設定して「足切り」を行い、この足切り後の各輝度値を平均することにより各平均輝度を得る。
最大/最小輝度算出部4054は、各A〜AJブロック毎の主被写体の最大/最小輝度、及び各第1〜第16ブロック毎の周辺被写体の最大/最小輝度を算出する。この場合も同様に、各ブロック毎に算出した主被写体輝度ヒストグラム又は周辺被写体輝度ヒストグラムに対して所定の閾値での「足切り」を行い、足切り後の各輝度値(輝度範囲)から最大又は最小輝度を算出する。
なお、ヒストグラム算出部4052は、後述の飽和判別部4055による飽和判別に用いるべく、主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムから、さらにこれらを合わせた全領域(撮像領域330)での全領域輝度ヒストグラムを算出する。飽和判別部4055は、前記ヒストグラム算出部4052によって算出された全領域輝度ヒストグラムに基づいて、AE(AF、WB)評価値検出時に撮像センサ30の出力が飽和しているか否かを判別するものである。
図17は、飽和時の全領域輝度ヒストグラムの一例を示している。同図中におけるPmaxは、撮像センサ30が飽和出力レベルVmax(撮像センサ30の出力レベルの物理的な最大値)となっているときのセンサ入射輝度(飽和輝度)を示し、Pmaxthは、飽和/非飽和の判別を行うべく所定の閾値として設定されたセンサ出力Vmaxthに対するセンサ入射輝度(輝度閾値)を示している。また、Dthは、同様に飽和/非飽和の判別を行うべく予め閾値として設定された度数(度数閾値)を示している。
飽和判別部4055は、全領域輝度ヒストグラム341において、輝度閾値Pmaxth以上及び度数閾値Dth以上となる同図中の符号342に示す斜線領域(飽和領域342という)における総度数、すなわち総画素数(飽和領域での総画素数を飽和画素数という)を算出し、該飽和画素数が所定数以上である場合に、撮像センサ30の出力レベルが飽和していると判別する(所定数より少ない場合は飽和していないと判別する)。なお、飽和/非飽和の判別は、飽和輝度Pmaxの度数(画素数)のみを用いて行ってもよい。
評価値検出部405は、上述のように、分割測光を行い、主被写体及び周辺被写体領域の各検出ブロックにおける輝度情報(画像データ)から、平均輝度、最大/最小輝度、輝度ヒストグラムあるいは輝度範囲等の情報をAE(AF、WB)評価値として検出する。この評価値データは、情報受信部501を介して演算部510の各種評価値に対応するパラメータ算出部、例えばAE評価値であればAE制御パラメータ算出部5110に、AF評価値であればAF制御パラメータ算出部513に、WB評価値であればWB制御パラメータ算出部514に出力され、当該各算出部においてこの評価値に基づき各種制御パラメータが算出される。
(AE制御パラメータ算出ステップS2)
本実施形態においては、上記のようにして検出されたAE評価値の中から、露出設定用の被写体輝度を定め、この露出設定用の被写体輝度に相当する撮像センサ30の出力が、当該撮像センサ30の線形特性領域で得られるように、AE制御パラメータ算出部5110(図4参照)においてAE制御パラメータが算出される。前記露出設定用の被写体輝度は任意に定め得るが、主となる被写体をコントラスト性良く撮像するためには、上述した主被写体から取得されるAE評価値(主被写体の輝度範囲や平均輝度等)を選択することが望ましい。
本実施形態にかかるAE制御を行うに際し、被写体輝度に相当する撮像センサ30の出力が、当該撮像センサ30の線形特性領域で得られるようにする方法としては、撮像センサ30に対する露光量制御に依る方法と、ダイナミックレンジ制御に依る方法とが例示できる。図18及び図19は、AE制御を行う場合において、撮像センサ30の光電変換特性が変化する様子を示すグラフ図であり、図18は、露光量制御を行う場合の変化を示し、図19は、ダイナミックレンジ制御を行う場合の変化を示す図である。図18及び図19においては、横軸がセンサ入射輝度、縦軸がセンサ出力であり、横軸は対数座標(センサ入射輝度の対数値)となっている。ただし、センサ入射輝度とは、撮像センサ30に入射された被写体の輝度を示しており、以降、単に輝度という。
前記露光量制御及びダイナミックレンジ制御は、具体的には、下記(A)、(B)の各制御に基づいて行われる。
(A)シャッタ23及び/又は撮像センサ30における露光時間、すなわちシャッタ23の開放時間及び/又は撮像センサ30の積分時間、及び/又は絞り23の開口面積の制御に基づく露光量制御。
(B)撮像センサ30の光電変換特性の制御(具体的には、光電変換特性の変曲点位置の制御;図19参照)に基づくダイナミックレンジ制御。
(ステップS2−1)露光量制御パラメータの算出
先ず上記(A)の場合の露光量制御について図18を用いて説明する。同図(a)は、AE評価値に基づく露出設定用の被写体輝度が対数特性領域に位置している場合に、これを線形特性領域で撮像されるよう露光量を制御する場合を示し、また同図(b)は、AE評価値に基づく露出設定用の被写体輝度が線形特性領域に位置してはいるが比較的出力レベルが低い領域に位置している場合に、これを線形特性領域の比較的出力レベルが高い領域で撮像されるよう露光量を制御する場合を示している。
図18(a)において、光電変換特性601は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性601は変曲点603(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。この光電変換特性601が、露光量設定用の所定の輝度(露出設定用の被写体輝度)に対して所定のセンサ出力が得られる光電変換特性602へ変化する露光量を得るための露光量制御パラメータ(露光量設定値)、すなわち前記露光時間を制御するための露光時間設定値及び絞りの開口面積を制御するための絞り設定値が、露光量制御パラメータ算出部511によって算出される。つまり、AE評価値に基づく露出設定用の被写体輝度と、前記光電変換特性情報記憶部516に記憶されている光電変換特性601とに基づいて露光量制御パラメータが算出される。
ここでは、光電変換特性601の線形特性領域における所定の輝度Lt1(前記露出設定用の被写体輝度に相当)に対するセンサ出力の値(対数特性領域の点605でのセンサ出力)が、Vtarget(線形特性領域の点606でのセンサ出力)となるような光電変換特性602が算出される。換言すれば、光電変換特性601を、点606を通る光電変換特性602となるように符合608に示す矢印方向(矢印608方向)に向けて変化(移動)させる(このとき、変曲点603は変曲点604へ平行移動され、センサ出力Vthの値は変化しない)ことにより、グラフ図的に表現すると光電変換特性601の状況下にあっては対数特性領域において交差している輝度Lt1のセンサ出力(点605)が、線形特性領域において交差されるよう(その交差点が点606)、新たな光電変換特性602が算出されるものである。なお、Vtargetとは、センサ出力の或る目標となるターゲット出力であり、予め設定された値である。このVtargetは露光量制御パラメータ算出部511等に記憶されている。
この場合、具体的には輝度Lt1におけるセンサ出力が、光電変換特性601の対数特性領域における点605でのセンサ出力(Vt1)から、点606でのセンサ出力(Vtarget)まで減少するように、すなわち同じ大きさの輝度に対するセンサ出力が減少するように、露光量の減少を図ることができる露光時間設定値や絞り設定値が算出される。別の見方をすれば、Vtargetに相当する輝度がLt2(点607での輝度)からLt1へ変化し、すなわちVtargetのセンサ出力を得るための輝度がLt2より所定量大きいLt1になるように当該露光量が減少される露光時間設定値や絞り設定値が、露光量制御パラメータ算出部511によって算出される。このとき、当該露光時間設定値や絞り設定値に基づいて、シャッタ23の開放時間又は撮像センサ30による積分時間が減少され、また、絞り23の開口面積が減少されるように制御される。
なお、光電変換特性601から光電変換特性602へ変化する場合、Vmaxにおける輝度がLm2からLm1まで変化(増加)し、ダイナミックレンジは広くなる。Vmaxとは、撮像センサ30におけるセンサ出力の最大値、すなわち飽和出力レベルである。ただし、この飽和出力レベルVmaxの値は実際の最大レベルでなくともよく、任意に設定された値、例えばこの最大レベルより幾分低く設定された値であってもよい。
次に図18(b)において、光電変換特性611は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。同様に光電変換特性611は、変曲点613(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。
ここでは、露出設定用の被写体輝度(輝度Lt1)が、光電変換特性611の線形特性領域に位置してはいるが比較的出力レベルが低い領域に位置している(点615)ことから、光電変換特性611の線形特性領域における所定の輝度Lt1に対するセンサ出力の値(点615でのセンサ出力)が、Vtarget(点616でのセンサ出力)となるような光電変換特性612が算出される。換言すれば、光電変換特性611が、点616を通る光電変換特性612となるように符合618に示す矢印方向(矢印618方向)に向けて変化(移動)させる(このとき、変曲点613は変曲点614へ平行移動され、センサ出力Vthの値は変化しない)ことにより、グラフ図的に表現すると光電変換特性611の状況下にあっては線形特性領域の比較的出力レベルが低い領域において交差している輝度Lt1のセンサ出力(点615)が、線形特性領域の比較的出力レベルが高い領域において交差されるよう(その交差点が点616)、新たな光電変換特性612が算出されるものである。
この場合、具体的には輝度Lt1におけるセンサ出力が、点615でのセンサ出力から点616でのセンサ出力(Vtarget)まで増加するように、すなわち同じ大きさの輝度に対するセンサ出力が増加するように、露光量の増加を図ることができる露光時間設定値や絞り設定値が算出される。別の見方をすれば、Vtargetに相当する輝度がLt2(点617での輝度)からLt1へ変化し、すなわちVtargetのセンサ出力を得るための輝度がLt2より小さいLt1で済むように当該露光量が増加される露光時間設定値や絞り設定値が、露光量制御パラメータ算出部511によって算出される。このとき、当該露光時間設定値や絞り設定値に基づいて、シャッタ23の開放時間又は撮像センサ30による積分時間が増加され、また、絞り23の開口面積が増加されるように制御される。この場合、光電変換特性611から光電変換特性612へ変化することから、Vmaxにおける輝度がLm2からLm1まで変化(低下)し、ダイナミックレンジは低下することとなる。
以上のような露光量制御パラメータの算出ステップにおいて、AE評価値取得時における光電変換特性が、既に上述のように露光量設定用輝度に対してVtargetが得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、この場合、前回のAE評価値取得時における露光時間設定値や絞り設定値と同じ値になったとしても、今回における露光時間設定値や絞り設定値の算出が行われる構成であってもよい。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出
次に上記(B)の場合のダイナミックレンジ制御について図19を用いて説明する。同図は、AE評価値に基づく露出設定用の被写体輝度が対数特性領域に位置している場合に、これを線形特性領域で撮像されるようダイナミックレンジを制御する場合を示している。図19において、光電変換特性701は、AE評価値取得時において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性701は変曲点703(このときのセンサ出力はVth1)を境として線形特性領域と対数特性領域とに分かれている。ダイナミックレンジ制御パラメータ(光電変換特性設定値)は、この光電変換特性701が、ダイナミックレンジ設定用の所定の輝度(露出設定用の被写体輝度)に対して所定のセンサ出力、換言すると被写体輝度が線形特性領域におけるセンサ出力として得られる光電変換特性702へと変化されるような光電変換特性の制御値として求められる。このような光電変換特性設定値は、ダイナミックレンジ制御パラメータ算出部512により算出される。つまり、AE評価値に基づく露出設定用の被写体輝度と、前記光電変換特性情報記憶部516に記憶されている光電変換特性601とに基づいてダイナミックレンジ制御パラメータが算出される。
ここでは、光電変換特性701の線形特性領域における所定の輝度Lt1(露出設定用の被写体輝度に相当)に対するセンサ出力の値(対数特性領域である点705でのセンサ出力Vt1)が、Vtarget(線形特性領域である点706でのセンサ出力)となるような光電変換特性702が算出される。換言すれば、光電変換特性701を、点706を通る光電変換特性702とすべく符合707に示す矢印方向(矢印707方向)に向けて変化(移動)するような光電変換特性設定値が算出される。つまり、グラフ図的に表現すると光電変換特性701の状況下にあっては対数特性領域において交差している輝度Lt1のセンサ出力(点705)が、線形特性領域において交差されるよう(その交差点が点706)、新たな光電変換特性702が算出されるものである。
具体的には、光電変換特性の変曲点に対するセンサ出力をVth1からVth2へ変化(増加)させる(輝度Lt1は固定的に扱う)ことで、変曲点703を備える現状の光電変換特性701を、これよりも高い出力レベルの変曲点704を備える新たな光電変換特性702に変換されるような光電変換特性設定値が、ダイナミックレンジ制御パラメータ算出部512によって算出される。このようにして算出された光電変換特性設定値は、ダイナミックレンジ制御信号発生部521へ入力され、ダイナミックレンジ制御信号発生部521にて所定の駆動信号が生成される。これにより、光電変換特性701の状況下では対数特性領域から得られていた輝度Lt1におけるセンサ出力(Vt1)が、新たな光電変換特性702では線形特性領域が拡張される結果、線形特性領域における点706でのセンサ出力(Vtarget)として得られるようになる。なお、光電変換特性701から光電変換特性702へ変化されることで、Vmaxにおける輝度がLm2からLm1まで変化(減少)し、ダイナミックレンジは狭くなる。
なお、ダイナミックレンジ制御による場合は、上述した露光量制御の場合のように、露出設定用の被写体輝度が線形特性領域に位置してはいるが比較的出力レベルが低い領域に位置している場合に、これを線形特性領域の比較的出力レベルが高い領域で撮像されるように制御することはできない。すなわち、変曲点を変化させたとしても、光電変換特性701及び光電変換特性702の線形特性領域における特性軌跡は変化しないからである。従って、このような場合は上述の露光量制御と併用するようにして、コントラスト性を高めるようにすることが望ましい。
以上のようなダイナミックレンジ制御パラメータの算出ステップにおいて、AE評価値取得時点における光電変換特性が、既に露光量設定用輝度に対してVtargetが線形特性領域から得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、この場合、前回のAE評価値取得時における光電変換特性設定値と同じ値になったとしても今回における光電変換特性設定値の算出が行われる構成であってもよい。
このように前記(A)の露光量制御、又は/及び(B)のダイナミックレンジ制御によるAE制御により、露光量設定用輝度(主被写体)を光電変換特性の線形特性領域において撮影し、且つ所定のセンサ出力レベルで出力することが可能となる。
(露光量制御パラメータの算出方法の詳細説明)
ここで、前記図18の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出について、より具体的に説明する。
図20は、図18における輝度Lt1(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるようにするための演算方法の一例について説明する図である。同図における光電変換特性α1は、AE評価値取得時における光電変換特性であり、変曲点621(これに対するセンサ出力はVth)を境として線形特性領域622と対数特性領域623とに分かれている。光電変換特性β1は、光電変換特性α1における対数特性領域623を線形特性(線形特性領域624)に変換した場合の、すなわち全て線形特性領域となる光電変換特性を示している。
図20に示すA点におけるLtLinは、光電変換特性α1の線形特性領域622における平均輝度(線形特性領域平均輝度)であり、この輝度LtLinに対するセンサ出力がVtLinとなっている。また、B点におけるLtLogは、光電変換特性α1の対数特性領域623における平均輝度(対数特性領域平均輝度)であり、この輝度LtLogに対するセンサ出力がVtLogとなっている。先ず、この光電変換特性α1の対数特性領域623におけるLtLogに対するB点が、線形特性領域624上のC点に移るように、すなわち対数特性領域623におけるLtLogに対するセンサ出力の値(VtLog)が線形特性領域624での値(VtLogLin)となるようにデータ変換が行われる(これにより、光電変換特性α1での各データを線形特性領域でのデータに統一して扱えるようになる)。前記対数特性領域623(光電変換特性α1)から線形特性領域624(光電変換特性β1)へのデータ変換は、LUT記憶部518に記憶されているLUTを用いて行われる。そして、A点でのVtLinとC点でのVtLogLinとから、以下の式により、D点でのセンサ出力VtAveが算出される。なお、VtAveにおける輝度LtAveが、図18に示す露光量設定用輝度(露出設定用の被写体輝度)としてのLt1に相当する。
VtAve=(VtLin*k1)+(VtLogLin*(1−k1))
ただし、k1=m/(m+n)
m:A点の輝度LtLinの算出時に用いた総画素数
n:B点の輝度LtLogの算出時に用いた総画素数
このように、LtLin及びLtLogの値から、VtLin及びVtLogLinの値を算出し、VtLin及びVtLogLinの値からVtAveを算出する。
次に、このVtAveが、図18に示すVtargetとなるような露光量の増幅率Gain(ゲイン)、この露光量の増幅率Gainに基づく露光時間の増幅率Gt及び絞りの増幅率Gs、さらに、増幅率Gt及びGsに基づくそれぞれ露光時間T2及び絞りの開口面積S2を以下の式により算出する。ただし、当該各式を用いたGt及びGsの値の算出は、以下の図21に示すフローチャートによる場合分けによって決定される。
Gain=Vtarget/VtAve
Gt*Gs=Gain
≪露光時間に関する増幅率を算出する式≫
Tmax/T1=Gtmax(露光時間の最大増幅率)
Tmin/T1=Gtmin(露光時間の最小増幅率)
Gain/Gtmax=GGtmax(最大増幅率での不足分を補うための増幅率)
Gain/Gtmin=GGtmin(最小増幅率での不足分を補うための増幅率)
T2=T1*Gt
ただし、T1:AE評価値検出時の露光時間
T2:AE補正後の露光時間
Tmax:撮像センサ30の最大露光時間
Tmin:撮像センサ30の最小露光時間
≪絞りに関する増幅率を算出する式≫
Smax/S1=Gsmax(絞りの最大増幅率)
Smin/S1=Gsmin(絞りの最小増幅率)
Gain/Gsmax=GGsmax(最大増幅率での不足分を補うための増幅率)
Gain/Gsmin=GGsmin(最小増幅率での不足分を補うための増幅率)
S2=S1*Gs
ただし、S1:AE評価値検出時の絞りの開口面積
S2:AE補正後の絞りの開口面積
Smax:絞り22の最大開口率
Smin:絞り22の最小開口率
図21のフローチャートに示すように、先ず、VtAveがVtargetの値と同じ値である場合、すなわち露光量の増幅率Gain=1.0であり、露光量の制御(露光量制御パラメータの変更)が必要ない場合には(ステップS211でYes)、露光時間の増幅率Gt=1.0及び絞りの増幅率Gs=1.0となり(ステップS212)、露光時間及び絞りの開口面積は変更されない。増幅率Gain=1.0でなく(ステップS211でNo)、また、Gain>1.0であり(ステップS213でYes)、且つGain>Gtmaxでない場合には(ステップS214でNo)、すなわちGainが1.0より大きく、露光量の制御が必要であり、露光量の増幅率Gainが露光時間の増幅率Gt(最大増幅率Gtmax以下の増幅率Gt)にて対応できる場合には、Gt=Gain及びGs=1.0となる(ステップS215)。
前記ステップS213において、Gain>1.0でなく(ステップS213でNo)、且つGain<Gtminでない場合には(ステップS216でNo)、前記ステップS215の場合と同様に、Gainが1.0より小さく露光量の制御が必要であり、露光量の増幅率Gainが、露光時間の増幅率Gt(最小増幅率Gtmin以上の増幅率Gt)にて対応できるため、Gt=Gain及びGs=1.0となる(ステップS217)。
前記ステップS214において、Gain>Gtmaxであり(ステップS214のYes)、且つGsmax>GGtmaxである場合には(ステップS218でYes)、Gt=Gtmax及びGs=GGtmaxとなる(ステップS219)。このステップS219では、露光量の増幅率Gainが、露光時間の最大増幅率Gtmaxよりも大きな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、当該Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応(補充)している。ただし、この絞りの増幅率Gsの値としては、露光時間の最大増幅率Gtmaxでの不足分を補うための増幅率GGtmaxが用いられる。これは、増幅率GGtmaxが、絞りの最大増幅率Gsmaxよりも小さい値であるため(絞りの最大増幅率Gsmaxを用いる必要がなく)、露光時間に関する増幅率GGtmaxを用いている。これにより、絞りを制御するための値(増幅率)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
また、前記ステップS216において、Gain<Gtminであり(ステップS216でYes)、且つGsmin<GGtminである場合には(ステップS221でYes)、Gt=Gtmin及びGs=GGtminとなる(ステップS222)。この場合も前記ステップS219と同様に、露光量の増幅率Gainが、露光時間の最小増幅率Gtminよりも小さな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応している。ただし、この絞りの増幅率Gsの値としては、露光時間の最小増幅率Gtminでの不足分を補うための増幅率GGtminが用いられる。これは、増幅率GGtminが、絞りの最小増幅率Gsminよりも小さい値であるため(絞りの最小増幅率Gsminを用いる必要がなく)、露光時間に関する増幅率GGtminを用いている。この場合も同様に、絞りを制御するための値(増幅率)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
前記ステップS218において、Gsmax>GGtmaxでない場合には(ステップS218でNo)、Gt=Gtmax及びGs=Gsmaxとなる(ステップS220)。また、前記ステップS221において、Gsmin<GGtminでない場合には(ステップS221でNo)、Gt=Gtmin及びGs=Gsminとなる(ステップS223)。前記ステップS220においては、増幅率GGtmaxが、絞りの最大増幅率Gsmax以上の値となる場合に、絞りの増幅率Gsの値として最大増幅率Gsmaxが用いられている。同様に、前記ステップS223においては、増幅率GGtminが、絞りの最小増幅率Gsmin以下の値となる場合に、絞りの増幅率Gsの値として最小増幅率Gsminが用いられている。
なお、本実施形態では、図21のフローチャートに示すように、露光量の増幅率Gainを得るための制御パラメータを選択する際、露光時間の増幅率Gtを優先させている(露光時間の制御を優先させている)が、絞りの増幅率Gsを優先させる(絞りの制御を優先させる)構成であってもよい。また、本実施形態では、1つの露光量設定用輝度(Lt1)に対して、増幅率Gt及びGsの算出を行っているが、2つ以上の露光量設定用輝度に対して同様の算出を行ってもよく、この場合には、それぞれで算出した増幅率(Gt、Gs)の平均値、あるいは最大値や最小値を用いる構成であってもよい。
このようにして増幅率Gt、Gsが算出され、このGt、GsからそれぞれAE補正後の露光時間T2、AE補正後の絞りの開口面積S2が算出される。そして、これらT2及びS2に応じた撮像センサ30やシャッタ23に対する設定値(露光時間設定値)、あるいは絞り22に対する設定値(絞り設定値)が、それぞれLUTを用いたデータ変換によって算出される。そして、当該データ変換によって得られた露光時間設定値や絞り設定値は、光電変換特性情報記憶部516に記憶される(あるいは前回のAE評価値取得時点における露光時間設定値や絞り設定値を、当該新たに得られた同設定値で更新する構成であってもよい。以下の光電変換特性設定値に対しても同様である)。
なお、シャッタ制御信号発生部523及び絞り制御信号発生部525は、それぞれ露光量制御パラメータ算出部511で算出された露光時間設定値及び絞り設定値に基づいて、撮像センサ30やシャッタ23による露光時間(積分時間)が前記T2となるような、あるいは絞り22の開口面積が前記S2となるような、シャッタ駆動部61及び絞り駆動部63に対する制御信号を発生させる。
続いて、前記図20に示す線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLin及び対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの具体的な算出方法について説明する。先ず、線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinの算出方法について説明する。図15に示す主被写体領域331における各検出ブロック(A〜AJブロック)によって検出した被写体の輝度情報を基に、当該各検出ブロック毎の線形特性領域での平均輝度(ブロック線形平均輝度という)を算出する。このブロック線形平均輝度の算出は、R、G及びBの3色それぞれの線形特性領域の平均値(色線形平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色線形平均値をそれぞれAveRA、AveRB、・・・AveRAJとして算出し、同様に、G色、及びB色の色線形平均値をそれぞれAveGA、AveGB、・・・AveGAJ、及びAveBA、AveBB、・・・AveBAJとして算出する。そして、これらRGB各色の色線形平均値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック線形平均輝度を算出する。例えばAブロックに対するブロック線形平均輝度をAveYAとすると、AveYAは次式にて求めることができる。
AveYA=AveRA*K1+AveGA*K2+AveBA*K3
ただし、K1、K2、K3:RGBからYCbCrへの色空間変換に用いる係数であり、例えばK1=0.2989、K2=0.5866、K3=0.1145である。
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック線形平均輝度AveYA、AveYB、・・・AveYAJを算出する。そして、さらにこれらブロック線形平均輝度AveYA、AveYB、・・・AveYAJ全体での平均値を算出する。この平均値のことをMainYとすると、MainYが前記線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinとなる。
一方、対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出も、前記VtLinの場合と同様にして行う。すなわち、図15に示す主被写体領域331におけるA〜AJブロックによって検出した被写体の輝度情報を基に、当該各検出ブロック毎の対数特性領域での平均輝度(ブロック対数平均輝度という)を算出する。このブロック対数平均輝度の算出は、R、G及びBの3色それぞれの対数特性領域の平均値(色対数平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色対数平均値をそれぞれAveRLogA、AveRLogB、・・・AveRLogAJとして算出し、同様に、G色、及びB色の色対数平均値をそれぞれAveGLogA、AveGLogB、・・・AveGLogAJ、及びAveBLogA、AveBLogB、・・・AveBLogAJとして算出する。
ところで、これら対数特性領域でのRGB各色の色対数平均値は、一旦、LUT記憶部518に記憶されているLUTを用いて線形特性領域での値に変換して線形データとしておき、この線形データに変換された値を用いて前記と同様に色空間変換の式を用い、A〜AJブロック毎のブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJを算出する。そして、さらにこれらブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJ全体での平均値を算出する。この平均値のことをMainYLogとすると、MainYLogが前記線形特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogLinとなる。なお、前記各A〜AJブロックでの各色の色線形平均値(色対数平均値)は、当該各A〜AJブロック毎の線形特性領域(対数特性領域)での輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値を平均することにより算出してもよい。
前記図20及び図21において説明した増幅率Gain(露光量制御パラメータ)の具体的な算出方法は、以下に示すものであってもよい。先ず、主被写体領域331における各A〜AJブロックでのRGB各色における輝度の最大値(色最大値という)を算出する。すなわち、R色の最大値をそれぞれMaxRA、MaxRB、・・・MaxRAJとして算出し、同様に、G色、及びB色の最大値をそれぞれMaxGA、MaxGB、・・・MaxGAJ、及びMaxBA、MaxBB、・・・MaxBAJとして算出する。そして、これら各色毎の輝度の最大値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック最大輝度を算出する。例えばAブロックに対するブロック最大輝度をMaxYAとすると、MaxYAは次式にて求めることができる。
MaxYA=MaxRA*K1+MaxGA*K2+MaxBA*K3
ただし、前記と同様に例えばK1=0.2989、K2=0.5866、K3=0.1145である。
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック最大輝度MaxYA、MaxYB、・・・MaxYAJを算出する。そして、さらにこれらブロック最大輝度MaxYA、MaxYB、・・・MaxYAJ全体での最大値(主被写体領域331での最大輝度値という)を算出する。この最大輝度値のことをMaxYとすると、MaxYが、図22に示す輝度Ltmaxに対応するセンサ出力レベルVtAve2となる。
同様に、各A〜AJブロックでのRGB各色における輝度の最小値(色最小値)を、それぞれMinRA、MinRB、・・・MinRAJ、及びMinGA、MinGB、・・・MinGAJ、及びMinBA、MinBB、・・・MinBAJとして算出し、これらの最小値を用いて前記と同様の色空間変換の式によりA〜AJブロック毎のブロック最小輝度MinYA、MinYB、・・・MinYAJを算出する。そして、さらにこれらブロック最小輝度MinYA、MinYB、・・・MinYAJ全体での最小値(主被写体領域a2での最小輝度値という)を算出する。この最小輝度値のことをMinYとすると、MinYが、図22に示す輝度Ltminに対応するセンサ出力レベルVtAve1となる。
ただし、前記色最大値及び色最小値のうちで対数特性領域での値であるものに対しては、同様にLUTを用いての線形特性領域への変換を行った後に色空間変換を行う。また、各A〜AJブロックでの各色の色最大値及び色最小値は、当該各A〜AJブロック毎に輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値から算出してもよい。
そして、図22に示すように、輝度Ltminに対するセンサ出力値VtAve1が、予め設定されたターゲット出力値であるVtarget1となるような増幅率(Vtarget1/VtAve1;第1増幅率という)を算出すると共に、輝度Ltmaxに対するセンサ出力値VtAve2が、予め設定されたターゲット出力値であるVtarget2となるような増幅率(Vtarget2/VtAve2;第2増幅率という)を算出し、これら2つの増幅率のうちの小さい方の増幅率を選択し、当該選択された増幅率を前記露光量の増幅率Gainとして、前記図21に示すように場合分けを行い、露光時間の増幅率Gt及び絞りの増幅率Gsを算出する構成であってもよい。
なお、上述のように第1及び第2増幅率のうちの大きい方を選択してもよく、あるいは、第1及び第2増幅率を比較して一方を選択するのではなく、第1又は第2増幅率のみを算出して用いる構成であってもよい。また、これら第1及び第2増幅率を平均したものを用いる構成であってもよい。
また、前記最小輝度値MinY及び最大輝度値MaxYは、各A〜AJブロックの輝度ヒストグラムを纏めてなるA〜AJブロック全体での全体輝度ヒストグラムから算出してもよい。この場合、同様に「足切り」を行うことで当該全体輝度ヒストグラムにおける輝度範囲を算出し、この輝度範囲から最小輝度値MinY及び最大輝度値MaxYを算出する。なお、当該算出時に、最小輝度値MinY=最大輝度値MaxY−輝度範囲、あるいは最大輝度値MaxY=最小輝度値MinY+輝度範囲というように、最小又は最大輝度値の一方の輝度値と輝度範囲とから、他方の輝度値を求めてもよい。
(ダイナミックレンジ制御パラメータの算出方法の詳細説明)
続いて、前記図19のダイナミックレンジ制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出についてより具体的に説明する。
図23は、変化後の光電変換特性における変曲点の位置の算出方法について説明する図であり、(a)は、輝度Lt1に対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。先ず、図23(a)において、光電変換特性α2は変曲点711を有する変化前の光電変換特性、光電変換特性β2は変曲点712を有する変化後の光電変換特性を示している。なお輝度Lt1は、図19と同様に露出設定用の被写体輝度であり、またVth1及びVth2は、前記変曲点711及び変曲点712に対応するセンサ出力である。ここでは、輝度Lt1に対するセンサ出力の値が、光電変換特性α2上のE点でのVt1から光電変換特性β2上のF点でのVtargetへ移るように光電変換特性を変化させる。この場合、光電変換特性α2は、変曲点711でのセンサ出力Vth1から変曲点712でのセンサ出力Vth2となる変曲点の変化量ΔVthに応じて光電変換特性β2の状態へ変化する。
ところで、前記Vth2は、E、F点間のセンサ出力ΔVtarget(=Vtarget−Vt1)から算出される。これについて説明する。図23(b)に示すように、光電変換特性α2、β2における線形特性領域及び対数特性領域をそれぞれモデル化(グラフ化)して関数(数式)で表すると、以下のように表される。
線形特性領域をモデル化した関数:V=K2*L(光電変換特性α2、β2で共通)
対数特性領域をモデル化した関数:V=K1*ln(L)+Wα(光電変換特性α2)
:V=K1*ln(L)+Wβ(光電変換特性β2)
ただし、K1、K2は定数、Lはセンサ入射輝度(図23の横軸座標)、Wα及びWβは切片を示している。
ここで、ΔVtargetは、ΔVtarget=Wβ−Wαと表されるので、前記V=K1*ln(L)+Wβの式は、
V=K1*ln(L)+Wα+ΔVtarget
と表される。このモデル式と、前記V=K2*Lのモデル式との交点713でのセンサ出力値がVth2となる。したがって、交点713(の座標)を算出するための当該2つのモデル式の連立式;
K1*ln(L)+Wα+ΔVtarget=K2*L
を満たす「L」の値、すなわち図23(b)に示す輝度Lを求めることによって、該輝度Lに対応するセンサ出力のVth2が算出される。
このVth2は、本実施形態においては被写体輝度Lt1に対するセンサ出力Vtargetよりも高いレベルとされ、前記Vtargetが線形特性領域から得られるよう設定される。ただし、算出された出力レベルVth2が飽和出力レベルVmaxより大きくなる場合には、撮像センサ30は、対数特性領域の無い線形特性領域のみの光電変換特性を有することとなる。
そして、上述のように算出したVth2に応じた撮像センサ30に対する設定値、すなわち、光電変換特性の変曲点がVth2の位置となるように光電変換特性を変化させるための設定値(光電変換特性設定値)が、LUTを用いた当該Vth2のデータ変換によって算出される。而して、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。なお、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512で算出された光電変換特性設定値に基づいて、撮像センサ30の光電変換特性(の変曲点位置)が上述のように変化するような、タイミング生成回路31に対する制御信号を発生させる。
ところで、前記図23に示すダイナミックレンジ設定用輝度である輝度Lt1に対応するセンサ出力レベルVt1の具体的な算出方法は以下の通りである。先ず、前記図20における対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出と同様に、図15に示す主被写体領域331(A〜AJブロック)での対数特性領域平均輝度を算出すると共に、周辺被写体領域332(第1〜第16ブロック)での対数特性領域平均輝度を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した対数特性領域平均輝度を比較して大きな方の対数特性領域平均輝度を選択し、該選択した対数特性領域平均輝度に対応するセンサ出力レベルをVt1とする。
なお、主被写体領域331及び周辺被写体領域332において、前記対数特性領域平均輝度だけでなく、図20における線形特性領域平均輝度LtLinと同様の線形特性領域平均輝度に対応するセンサ出力も算出し、主被写体領域331及び周辺被写体領域332毎にこれら線形特性領域平均輝度と対数特性領域平均輝度とを平均した全特性領域平均輝度を算出し、これら各領域における全特性領域平均輝度のうちの大きなものを輝度Lt1に対応するセンサ出力とする構成であってもよい。ただし、当該輝度が同じ大きさであった場合には、いずれの輝度値を輝度Lt1に対応するセンサ出力としても良い(以降も同様)。
また、主被写体領域331のみでの対数特性領域平均輝度(あるいは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lt1に対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの対数特性領域平均輝度(あるいは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lt1に対応するセンサ出力を得る構成であってもよい。
さらに、輝度Lmaxに対応するセンサ出力の具体的な算出方法は、以下に示すものであってもよい。すなわち、先ず、前記図22における最大輝度値Ltmax(MaxY)に対応するセンサ出力の算出と同様に、主被写体領域331での最大輝度値を算出すると共に、周辺被写体領域332での最大輝度値を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した最大輝度値を比較して大きな方の最大輝度値を選択し、該選択した最大輝度値に対応するセンサ出力レベルを求め、この出力レベルに対応する輝度をLt1とする。なお、主被写体領域331のみでの最大輝度値から輝度Lt1に対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの最大輝度値から輝度Lt1に対応するセンサ出力を得る構成であってもよい。
なお、上述したような主被写体の平均輝度を線形特性領域に位置させる制御は、前記図17で説明したように、飽和判別部4055(図14参照)によって撮像センサ30の出力レベルが飽和していないと判別されている場合に行われるが、主被写体の画像品位を重視する観点からは、飽和判別部4055による飽和検出の有無にかかわらず上記制御を行うようにしても良い。しかし、主被写体の平均輝度を線形特性領域に位置させる制御を行うことによって飽和が発生してしまうような被写体を撮像する場合に、上記制御によってすぐに飽和が生じないように、光電変換特性や積分時間を一旦変化させるようにしても構わない。
(ステップS3−1)露光量制御パラメータの設定
上記ステップS2−1で説明したような手法でAE制御のための露光量制御パラメータが算出されたならば、該露光量制御パラメータに基づいてAE制御が行われ、実際の撮像動作が行われる。すなわち、静止画像を撮影する場合は、予備撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で本撮影が行われる。また、動画像を撮影する場合は、例えば直前に撮影された撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で順次動画撮影が行われる。
具体的には、全体制御部50の露光量制御パラメータ算出部511で算出された露光量制御パラメータは制御信号発生部520に入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31や駆動部60を動作させるための制御信号が制御信号発生部520の各部で生成される。すなわち、制御信号発生部520のセンサ露光時間制御信号発生部522は、前記露光量制御パラメータに応じて、所期の露光時間が確保されるよう撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを、露光量制御パラメータに応じて適宜な時間に設定する信号(つまり、フォトダイオードPDの寄生容量のリセット動作終了時刻t1から次フレームの映像信号読み出しが開始される時刻t2までの積分時間を適宜な時間に設定する信号)である。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
またシャッタ制御信号発生部523は、同様に露光量制御パラメータに基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。この制御信号は駆動部60のシャッタ駆動部61へ送られ、シャッタ駆動部61は該制御信号に基づいてシャッタ23の駆動信号を生成し、露光量制御パラメータに応じたシャッタ23のシャッタ開放動作を行わせる。
さらに絞り制御信号発生部525も、同様に露光量制御パラメータに基づいて、絞り22の開口面積を設定する制御信号を生成する。この制御信号は絞り駆動部63へ送られ、絞り駆動部63は該制御信号に基づいて絞り22の駆動信号を生成し、露光量制御パラメータに応じた絞り22の開口面積設定動作を行わせる。
以上のように、露光量制御(積分時間の制御)の要素としては、タイミング生成回路31のよる撮像センサ30の駆動制御、シャッタスピード制御及び絞り制御があり、これら3つの制御を全て行うようにしても良いが、高速に制御を達成する観点からは、図21のフローチャートに基づいて説明したように、タイミング生成回路31による電子回路的な露光量制御を優先させるようにすることが望ましい。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定
一方、ダイナミックレンジ制御により本実施形態にかかるAE制御を行う場合、全体制御部50のダイナミックレンジ制御パラメータ算出部512で算出されたダイナミックレンジ制御パラメータは制御信号発生部520に入力され、そのダイナミックレンジ制御信号発生部521において、実際のダイナミックレンジ制御動作を行わせる制御信号が生成される。
すなわちダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替る出力レベルポイント(変曲点)を調整する撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSを、算出されたダイナミックレンジ制御パラメータに応じて適宜設定する制御信号である。
つまり、前記φVPSにおける電圧VPHの高さ、あるいは時間ΔTの長さを制御することでその変曲点が変動されることから、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータに基づいてφVPSを制御する制御信号を生成し、これをタイミング生成回路31へ送信する。そしてタイミング生成回路31は、入力された制御信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を、所定の光電変換特性の状態として実際に駆動させるものである。
以上、AE制御を中心に説明したが、実際のデジタルカメラ1においては、AF制御やWB制御等も行われる。AF制御の場合も同様に、撮像センサ30の撮影画像から取得したAF評価値に基づいて制御を行うことができる。例えば、図14に示した主被写体領域331のO、P、U及びVブロックから検出される輝度ヒストグラムを活用し、評価値検出部405にて隣接輝度とのコントラストが最大となるポイントを求める所謂「山登り法」等によってAF評価値を算出することができる。この場合、撮像センサ30の線形特性領域及び対数特性領域の各々からAF評価値を検出し、それぞれの特性領域の特徴を生かし、例えば対数特性領域から得られるAF評価値を、AF制御に際しての粗測距用として用い、また線形特性領域から得られるAF評価値を、詳測距用として用いるようにすることが望ましい。
このようにして評価値検出部405で検出されたAF評価値は、全体制御部50のAF制御パラメータ算出部513へ送られる。AF制御パラメータ算出部513は、該AF評価値に応じたAF制御パラメータを算出し、これをズーム/フォーカス制御信号発生部524へ送信する。該ズーム/フォーカス制御信号発生部524にて、入力されたAF制御パラメータに応じた制御信号が生成され、これがズーム/フォーカス駆動部62へ送信される。そして、ズーム/フォーカス駆動部62により前記制御信号に応じた駆動信号が生成され、該駆動信号により鏡胴20のレンズ群21がフォーカス駆動されるものである。
またWB制御についても、撮像センサ30の撮影画像から取得したWB評価値に基づいて制御を行うことができる。この場合も、撮像センサ30の線形特性領域及び対数特性領域の各々からWB評価値を検出することが望ましい。すなわち、撮影画像に基づきニュートラルな画像によるWB評価値検出を行うものとし、前記ニュートラル画像として線形特性領域と対数特性領域との2種類の画像に基づき、各RGBレベル(R−Log,G−Log,B−Log,R−Lin,G−Lin,B−Lin)を検出するよう構成することが望ましい。評価値検出部405はこのようなWB評価値を検出し、該WB評価値をホワイトバランス制御部406へ送り、ホワイトバランス制御部406により適宜な色バランスとなるようホワイトバランス補正が行われるものである。
このようなAE制御を行う本実施形態にかかるデジタルカメラ1によれば、ターゲットとなる被写体の画像信号が、撮像センサの線形特性領域から常時得られるようになる一方で、対数特性領域も活用されて所定のダイナミックレンジも確保されるようになる。例えば、被写体が低輝度の場合であっても線形特性領域によりコントラスト性が高い画像信号を得ることができると共に、対数特性領域により高輝度領域のダイナミックレンジが担保されるようになる。従って、撮像センサから被写体の光量に応じた最適な撮像出力、映像出力を取り出せるようになる。
以上のような信号処理が為されたならば、その信号処理済みの画像信号は、画像メモリに一時的に記録されたり、或いはメモリカード412に記録されたりする。若しくは、LCD表示部106にモニター画像として表示されたりする。このようにして、当該デジタルカメラ1による撮像動作は完了する。
(実施形態2)
以下、図面に基づいて、本発明の第2の実施形態につき説明する。
第2の実施形態では、第1の実施形態とAE制御方法が異なるものとなっている。第1の実施形態におけるAE制御は、図18(a)(b)に示す露光量制御と、図19に示すダイナミックレンジ制御とによって行われ、以下、(A)、(B)に示すように(この(A)(B)は前述の内容を要約したもの)、露光量制御は、露光時間(撮像センサの積分時間、或いはシャッタの開放時間)と、絞り(絞りの開口面積)との制御によってなされ、一方、ダイナミックレンジ制御は、光電変換特性(変曲点位置)の制御によってなされる構成であった。
(A)露光量制御(露光時間制御(積分時間やシャッタ開放時間制御)、或いは絞り制御(絞りの開口面積制御))
(B)ダイナミックレンジ制御(光電変換特性制御(変曲点位置制御))
これに対し、第2の実施形態におけるAE制御では、以下[A]〜[C]に示すように、露光量制御を、絞り制御に基づく露光量制御と積分時間やシャッタ開放時間の制御に基づく露光量制御との各場合で(独立して)行い、ダイナミックレンジ制御を、前記と同様に光電変換特性(変曲点位置)の制御によって行うようにする。
[A]露光量制御(絞り制御(絞りの開口面積制御))
[B]ダイナミックレンジ制御(光電変換特性制御(変曲点位置制御))
[C]露光量制御(露光時間制御(積分時間制御やシャッタ開放時間制御))
このようなAE制御方法の違いに関し、第1の実施形態と本実施形態とでは、図24に示すように、撮像センサ30a、全体制御部50a(演算部510a、制御信号発生部520a)及びタイミング生成回路31a等が異なる構成とされている。第1の実施形態と同様の構成を有するものについては同一の番号を付し、この説明を省略する。なお、第2の実施形態におけるデジタルカメラをデジタルカメラ1aとする。
先ず、撮像センサ30aについて詳述する。図25は、第2の実施形態にかかるデジタルカメラ1aの撮像センサ30aにおける各画素の回路構成図の一例を示すものであり、第1の実施形態の図7に示す各画素G11〜Gmnに相当するものである。同図に示すように、撮像センサ30aの各画素G11〜Gmnは、フォトダイオードPD1、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT10〜T13、及びFD(Floating Diffusion)から構成されている。トランジスタT10〜T13は、ここではNチャンネルMOSFETが採用されている。VDD、φRSB、φRST、φTX及びφVは、各トランジスタに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPD1は、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD1)を出力する。トランジスタT12は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧V1OUTに対する増幅(電流増幅)を行う。トランジスタT13は、ゲートに印加する電圧(信号φV)に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。トランジスタT13のソースは、図7に示す出力信号線306に接続されており、トランジスタT13がオンした場合、トランジスタT12で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT10は、同トランジスタのゲートに印加される電圧に応じてオン、オフされるスイッチとして動作するものであって、当該ゲート電位の高低によるオン、オフ切り替えに応じて、フォトダイオードPD1で発生した光電流IPD1(電荷)のFDに対する転送、非転送の切り替えを行う所謂転送ゲートとなるものである。フォトダイオードPD1で発生した光電流IPD1はフォトダイオードPD1の寄生容量に流れてその電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときトランジスタT10がオン状態であれば、この寄生容量に蓄積された電荷(負電荷)がFDへ向けて移動する。FDは、電荷(信号電荷)を一旦保持しておく電荷保持部であり、この保持した電荷を電圧に変える(電荷電圧変換を行う)所謂キャパシタの役割を担うものである。
トランジスタT11(リセットゲートトランジスタ)は、同トランジスタのゲート電圧の高低によるオン、オフ切り替えに応じてFDに対するリセットバイアスの印加、非印加の切り替えを行うものであるとともに(例えばトランジスタT11がオン状態の場合、トランジスタT10もオン状態となっており、トランジスタT11、FD、トランジスタT10及びフォトダイオードPD1を挟んだφRSB及びGND間にリセットバイアスがかけられた状態となる)、ゲート電圧を後述のMid電位(中電位)とすることで、フォトダイオードPD1からFDに移動する電荷(FDを流れる電流)のFD及びトランジスタT11による電荷電圧変換によってそれぞれ線形変換及び対数変換を行わせるものである。
この場合、トランジスタT11にはMid電位に応じた電流(リセット電流)が流れ、トランジスタT11のソースが当該リセット電流に応じた電位となる。そして、フォトダイオードPD1から移動してくる電荷による電位が、Mid電位に応じたトランジスタT11のソース電位より小さい場合には(撮像する被写体の輝度が低く、つまり被写体が暗く、フォトダイオードPD1に入射される入射光量が少ない場合には)、FDにおいて線形変換としての電荷電圧変換が行われ、一方、当該ソース電位を超える場合には(撮像する被写体の輝度が高く、つまり被写体が明るく、フォトダイオードPD1に入射される入射光量が多い場合には)、トランジスタT11において対数変換としての電荷電圧変換が行われる。
これにより、FDとトランジスタT12との接続ノード、すなわち出力V1OUTには、FDにおける光電流IPD1の積分値による線形出力としての電圧、或いはトランジスタT11における光電流IPD1に応じた電流−電圧変換による対数出力としての電圧が現れる。すなわち、光電変換特性における線形特性領域での出力値は、当該FDにおける光電流IPD1の積分値となるが、対数特性領域については、FD部に蓄えられた電荷による電位がトランジスタT11(リセットゲート)のソース電流を超えた領域において、光電流IPD1と等しい電流が該トランジスタT11に流れ、このトランジスタT11において光電流IPD1が電流−電圧変換された値(電圧)が当該出力値としてFD部に現れる。このトランジスタT11での電流−電圧変換が上記対数変換に相当する。したがって、後述するように、線形特性領域での出力値にはFD部や寄生容量部での積分効果が現れて、撮像センサ30aの露光時間に応じて該線形特性領域(線形特性領域の傾き)が変化するが、対数特性領域での出力値には、FD部や寄生容量部での積分効果は現れず、撮像センサ30aの露光時間に関わらず該対数特性領域の光電変換特性は固定となる(この場合の対数特性領域には時間の概念が含まれないと表現することもできる)。そして、トランジスタT13がオンされると、これら各電圧に応じたトランジスタT12による増幅電流が、トランジスタT13を介して出力電流として出力信号線306に導出される。このように第2の実施形態において、撮像センサ30a(各画素)は、前記撮像センサ30におけるキャパシタCやトランジスタT3からなる積分回路を備えておらず、当該積分回路を備えずにFD(或いはこのFDに対する転送ゲートやリセットゲート等)を備えた回路構成とされることで、被写体輝度(或いはセンサ入射輝度)に応じて線形変換又は対数変換された出力信号を得ることが可能となる。
なお、撮像センサ30aは、撮像センサ30と比べて回路構成がより簡易なものとなっていることから(例えば上述のようにキャパシタCやトランジスタT3からなる積分回路等が削除された回路構成となっているため)、撮像センサ30aの開口率が増加し、センサ面に入射される光に対する感度(センサ出力)が向上する。
図26は、図25に示す撮像センサ30aにおける各画素の撮像動作に関するタイミングチャートの一例であり、図26(a)は、全画素における垂直ブランク期間中の電荷蓄積(露光)動作に関するタイミングチャートを示し、図26(b)は、水平ブランク期間中における、電荷蓄積終了後の垂直走査による各行の画素の電荷掃き出し動作に関するタイミングチャートを示している。ここではNチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオン、Low(ロー)でオフとなる。
まず、図26(a)において、符号801で示す位置で信号φRSTをHi、符号802で示す位置で信号φTXをHiにする。これによりFDに対して前記リセットバイアスが印加される。そして、信号φRST、φTXの両方がHiである期間内に、符号803で示す位置で信号φRSBを一旦Lowとすることで、FD部の電位を高輝度光入射時の状態にセットし(電荷ゼロの状態から電荷蓄積が開始できるようにセットし)、さらに当該電位を符号804に示す位置でHiに戻すことで、全画素のFDに対するリセット(リフレッシュ)動作を行う。このFDに対するリセット動作によりFD部の電荷の安定性が保たれるようになる。
その後、符号805に示す位置で、全画素同時にトランジスタT11のゲートに対する信号φRSTをHiから中(Middle)電位(この電位をMidと表現する)とし、このMid電位となっている期間(符号805の位置から後述の符号806の位置までの区間)において、FDでの電荷の蓄積及びこの蓄積電荷に対する線形変換又は対数変換での電圧変換を行う。このとき、信号φRSTのHi電位とMid電位との差分(この差分をΔRSTとする)の大きさに応じて、線形変換(又は対数変換)される割合が変化する。
具体的には、ΔRSTが大きいほど、撮像センサ30aの光電変換特性の変曲点におけるセンサ出力レベル(Vth)が高くなり、つまり光電変換特性における線形特性領域の割合が大きくなり(対数特性領域の割合が小さくなり)、ΔRSTが小さいほど、同変曲点レベルが低くなり、線形特性領域の割合が小さくなる(対数特性領域の割合が大きくなる)。このように、差分ΔRSTの大きさを制御することによって、前記図11での説明と同様、撮像センサ30aの光電変換特性の変曲点の出力レベル(変曲点位置)が制御されることになる(これは後述の図29に示す場合に相当する)。
なお、前記ΔRST(Midレベル)の制御は、線形特性領域と対数特性領域との傾きがいずれも固定された状態で変曲点の位置を変化させていく、つまり光電変換特性における線形特性から対数特性への切り替わり点(オフセット)を変化させる制御であるとも言える。
ところで、上述のように信号φTXがHiの状態において、信号φRSTがHiからMidとなる時点を開始点として、信号φTXがHiからLowとなり且つ信号φRSTがMidからLowとなる時点を終了点とした期間、すなわち信号φRSTがMidとなっている期間(この期間をΔLとする)が、ここではこの期間ΔLが撮像センサ30aの各画素の露光時間(積分時間)つまり電荷の蓄積時間(蓄積時間ΔL)となる。この蓄積時間ΔLの長さの制御は、後述するタイミング生成回路31aを介したセンサ露光時間制御信号発生部522aによって行われる。なお、前記ΔRST値の大きさの制御、すなわち信号φRSTをHiからMidにするときのMid電位のレベルの制御は、後述するタイミング生成回路31aを介したダイナミックレンジ制御信号発生部521aによって行われる。
そして、符号806の位置で信号φTXをHiからLowにするとともに、符号807の位置で信号φRSTをMidからLowにすることで、電荷蓄積期間(この電荷蓄積期間をΔLとする)内にFDに蓄積された電荷がホールドされる(全画素同時に電荷の蓄積動作が終了される)。
次に、図26(b)において、前記図26(a)での全画素に対する電荷蓄積が終了した後、図7に示す垂直走査回路301による垂直走査によって選択された行(画素行)の信号φVを、符号811に示す位置でHiとすることでトランジスタT13をオンし、当該選択された行の各画素のFDに蓄積された電荷を垂直信号線(図7に示す出力信号線306−1、306−2、・・・306−m)に読み出す(掃き出す)。ただし、この符号811に示す位置での電荷読み出し動作は、図26(a)の符号806(807)に示す位置での電荷蓄積終了を受けて開始されることを示している。そして、この読み出した信号電荷を垂直信号線で伝送させ、図7に示す各選択回路308に備えるサンプルホールド回路に一旦保持させる。
その後、符号812に示す位置において、前記選択された行の(各画素に対する)信号φRSTをLowからHiに変化させ、同時に、符号813に示す位置において当該選択された行の信号φRSBをHiからLowにすることで、FD部の電位を高輝度入射時の状態にセットする。そして、信号φRSTをHiにしたままの状態で、符号814に示す位置において信号φRSBをHiに戻し、リセットゲート(トランジスタT11)の閾値に応じた値にFDをリセットする。この状態で信号φVを符号815に示す位置でHiとすることで、ノイズ信号を垂直信号線に読み出し、図7に示す後段の補正回路309に備えたノイズ用サンプルホールド回路に保持する。
ところで、図26(b)に示す信号φSHS及びφSHNは、それぞれ後段の選択回路308における(シグナル用)サンプルホールド回路及び補正回路309におけるノイズ用サンプルホールド回路でのサンプルホールド制御信号を示している。これらサンプルホールド制御信号に基づいて、符号816及び符号817に示すように、前記符号811、815に示す信号φVがHiとなるタイミングに応じて、それぞれ各サンプルホールド回路によりシグナル(画像信号)及びノイズ(ノイズ信号)がサンプルホールドされる。そして、このサンプルホールドにより得られた画像信号とノイズ信号との差分をとる(シグナル信号からノイズ信号を減算する)ことで、当該各行の各画素に対する、リセットゲートの閾値ばらつきが除去された画像信号が得られる。なお、信号φTXは、水平ブランク期間中において常時Lowレベルとなっている。
図24に戻って、デジタルカメラ1aの全体制御部50aでは、AE制御パラメータ算出部5110aにおいて、第1の実施形態と同様、被写体輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30aの光電変換特性(ダイナミックレンジ)とに設定するための制御パラメータが算出される。これに関し、第2の実施形態では、上述した[A]、[B]、[C]の各場合の制御に関する制御パラメータが算出される。AE制御パラメータ算出部5110aは、露光量制御パラメータ算出部511aとしての露光時間制御パラメータ算出部5111及び絞り制御パラメータ算出部5112と、ダイナミックレンジ制御パラメータ算出部512aとを備えて構成されている。
露光時間制御パラメータ算出部5111は、露光時間を最適化するための制御パラメータを算出するものであり、前記評価値検出部405において検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値を算出する。この露光時間設定値は、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性へと変化する露光量となるように、露光時間(撮像センサ30aの積分時間、或いはシャッタ23の開放時間)を制御するためのための設定値である。
絞り制御パラメータ算出部5112は、絞りを最適化するための制御パラメータを算出するものであり、前記露光時間設定値と同様に、評価値検出部405にて検出されるAE評価値と、光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報とに基づいて、被写体輝度に応じた絞り設定値を算出する。この絞り設定値は、露光量設定用輝度に対して所定のセンサ出力が得られる光電変換特性へと変化する露光量となるように、絞り(絞り22の開口面積)を制御するための設定値である。
ダイナミックレンジ制御パラメータ算出部512aは、被写体輝度に応じて撮像センサ30aの光電変換特性(ダイナミックレンジ)を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512aは、ダイナミックレンジ設定用の被写体輝度に対して撮像センサ30aが飽和出力レベルとなる光電変換特性(ダイナミックレンジ)が得られるように、光電変換特性の変曲点位置を制御するための光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30aの光電変換特性情報が参照される。
全体制御部50aの露光量制御パラメータ算出部511a及びダイナミックレンジ制御パラメータ算出部512aにより算出された露光量制御パラメータ(露光時間制御パラメータや絞り制御パラメータ)、及びダイナミックレンジ制御パラメータは、制御信号発生部520aに入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31aや駆動部60を動作させるための制御信号が制御信号発生部520aの各部で生成される。この制御信号発生部520aでは、特にダイナミックレンジ制御信号発生部521a及びセンサ露光時間制御信号発生部522aにおける動作が、撮像センサ30aに対するものとして第1の実施形態の場合と異なっている。
すなわち、ダイナミックレンジ制御信号発生部521aは、ダイナミックレンジ制御パラメータ算出部512aにおいて算出された撮像センサ30aの光電変換特性設定値に応じて、線形特性領域から対数特性領域への切り替わり点である変曲点の出力レベルを調整するためのタイミング生成回路31a(撮像センサ30a)に対する駆動信号を生成し、これをタイミング生成回路31aへ送信する。上述したように撮像センサ30aの光電変換特性は当該撮像センサ30aに対する信号φRSTのHiとMidとの差分ΔRSTを制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521aは、この信号φRSTのΔRST(Midレベル)の大きさを制御するべくタイミング生成回路31aに対する駆動信号を制御することで、撮像センサ30aのダイナミックレンジが被写体の輝度に適するよう制御する。なお、タイミング生成回路31aは、入力された当該ΔRSTに対応する駆動信号に応じて、撮像センサ30aのダイナミックレンジを制御するタイミング信号を生成して撮像センサ30aを駆動させる。
また、センサ露光時間制御信号発生部522aは、露光時間制御パラメータ算出部5111において算出された露光時間設定値に応じて、所要の露光時間を確保するためのタイミング生成回路31aに対する駆動信号を生成し、これをタイミング生成回路31aへ送信する。ここでの駆動信号は、上述したように撮像センサ30aに対する信号φRSTが中電位Midとなる蓄積時間ΔLを、露光時間設定値に応じて適宜な時間に設定する制御信号である。なお、タイミング生成回路31aは、上記と同様、入力されたΔLに対応する駆動信号に応じて、撮像センサ30aの露光時間を制御するタイミング信号を生成して撮像センサ30aを駆動させる。
なお、前記絞り制御パラメータ算出部5112によって算出された絞り設定値は絞り制御信号発生部525に入力され、絞り制御信号発生部525では、この絞り設定値に基づいて、絞り22の開口面積を設定するための駆動部60に対する駆動信号を生成し、これを駆動部60へ送信する。また、シャッタ制御信号発生部523では、同様に、露光時間制御パラメータ算出部5111にて算出された露光時間設定値に基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を該露光時間に合わせて設定する制御信号を生成し、これを駆動部60へ送信する。
次に、図27〜図29を用いて、本実施形態のAE制御における、上述の[A]絞り制御に基づく露光量制御、[B]光電変換特性制御に基づくダイナミックレンジ制御、[C]露光時間制御に基づく露光量制御について説明する。
図27は、[A]における、「絞り制御」に基づく露光量制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。ただし、同図の横軸は、第1の実施形態における光電変換特性グラフ(例えば図18)の横軸に示す「センサ入射輝度」ではなく、「被写体輝度」となっている(図28、29も同じ)。これは、ここで扱う横軸の輝度が、被写体からの輝度光によって撮像センサが所定時間(積分時間、シャッタ開放時間)露光された結果得られる値としての所謂時間の概念を含む輝度値(センサ入力輝度)ではなく、被写体の輝度そのものの値(絶対的な輝度値)であることを示すものである。なお、縦軸は第1の実施形態と同じくセンサ出力を示している。
図27に示すように、絞り、すなわち絞り22の開口面積が制御されることで、撮像センサ30aの光電変換特性全体が、符号Hで示す矢印方向に変化(移動)する。この場合、絞りの開口面積を増加させると、同図の符号Hで示す矢印方向における左側方向へ光電変換特性が移動するように変化し(光電変換特性821から光電変換特性831へと変化し)、逆に開口面積を減少させると、光電変換特性が右側方向へ移動するように変化する。具体的には、第1の実施形態における図18(a)(b)の場合と同様、例えば、光電変換特性821(の線形特性領域)における所定の輝度Lt1(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるような、ここでは輝度Lt1でのセンサ出力が点822から点823の出力値へ増加するような光電変換特性831が算出される(このとき、変曲点824は変曲点825へ平行移動され、センサ出力Vthの値は変化しない)。換言すれば、Vtargetとなるセンサ出力を得るための被写体輝度が、輝度Lt2からLt1へと変化(低下)するように光電変換特性が変化する。なお、上述したように被写体輝度を扱うことにより、露光時間に依存せず、すなわち時間(露光時間)の概念とは関係なく、絞りの開口面積を変化させて、その絶対的な輝度としての被写体輝度に対して得られるセンサ出力値を変化させることができる。これにより、図27に示すように光電変換特性全体が変化するように制御することが可能となる。
ここで、前記露光量設定用輝度(輝度Lt1)に対するセンサ出力の値が、Vtargetとなるよう光電変換特性を変化させるために必要な絞り22の開口面積は、第1の実施形態と同様にして算出する。具体的には、例えば前記図20、22で説明した方法と同様にして増幅率Gain(=Vtarget/VtAve)を求め、この増幅率Gainから、前記図21に示すように場合分けを行うなどして増幅率Gt及び増幅率Gsを算出し(Gain=Gt*Gs)、さらにこれら増幅率Gt及び増幅率Gsから露光時間T2及び絞りの開口面積S2を算出するという方法で行う(当該演算によって得られる絞りの開口面積S2が、図27での露光量制御で用いられる絞りの開口面積に相当し、この絞り開口面積が得られるよう調整するための設定値が「絞り設定値」となる)。
前記絞りの開口面積を求めるための演算は(絞りの開口面積を算出する過程で露光時間も自ずと算出される)、演算部510aの絞り制御パラメータ算出部5112にて行われる。ただし、これに限らず、例えば絞りの開口面積を導出する途中過程での演算(例えば増幅率Gt及び増幅率Gsの算出)は、露光時間制御パラメータ算出部5111にて行い、その後、増幅率Gsからの絞りの開口面積の算出を、絞り制御パラメータ算出部5112で行うようにしてもよい。
なお、上記演算に用いる例えば輝度Lt1といった輝度情報は、第1の実施形態と同様、分割測光部4051にて分割測光を行い主被写体輝度や周辺被写体輝度を求めるとともに、ヒストグラム算出部4052や最大/最小輝度算出部4054において輝度ヒストグラムや最大・最小輝度の情報等を求め、これらの情報を用いて算出してもよい(以下の[C]、[B]の場合も同様である)。
図28は、前記[C]における、「露光時間制御」に基づく露光量制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。第1の実施形態では、露光時間を制御することで線形特性領域及び対数特性領域(光電変換特性全体)が変化していたが(図18(a)参照)、本実施形態では撮像センサ30aの特性上、露光時間(積分時間)が変化しようとも、被写体輝度に対して対数変換されて出力されるセンサ出力値は変化しない、つまり対数特性領域には露光時間に関する時間の概念が含まれず、したがって、露光時間を変化させることにより、対数特性領域が固定された状態で(対数特性領域の位置や傾きが変化せずに)線形特性領域の傾きが変化する。
図28においては、露光時間が変化することで、例えば実線で示す光電変換特性841の線形特性領域における傾きK1が、2点鎖線で示す光電変換特性851の線形特性領域における傾きK2へと変化する(逆の変化もある)。この場合、露光時間を増加させると、光電変換特性における線形特性領域の部分が左側へ移動するように変化し(線形特性領域の傾きがK1からK2へと変化し)、逆に露光時間を減少させると、同線形特性領域の部分が右側へ移動するように変化する。このように線形特性領域の傾きが変化する一方で、対数特性領域は固定された状態となっているため、見かけ上、線形特性領域と対数特性領域との切り替わり点である変曲点の位置が、符号Iで示す矢印方向(対数特性領域の傾きに沿った方向)に例えば変曲点842から変曲点852に移動されるようにして、光電変換特性841から光電変換特性851へと変化する。なお、線形特性領域の傾きが変化する(見かけ上の変曲点位置が変化する)ことにより、光電変換特性における線形特性領域と対数特性領域との割合も変化する。
具体的には、露光時間を制御することによって、例えば同じ被写体輝度(例えばLt100)に対するセンサ出力が、光電変換特性841における符号843に示すセンサ出力レベルから光電変換特性851における符号853に示すセンサ出力レベル(Vtarget)まで増加する(被写体輝度が同じでも、それが露光される時間が増加すれば、それに応じてセンサ出力が増加する)。換言すれば、Vtargetとなるセンサ出力を得るための被写体輝度が、光電変換特性841に対するLt200から光電変換特性851に対するLt100へと変化(低下)するように光電変換特性が変化する。
ところで、露光時間の制御は、上述したように撮像センサ30aの積分時間(蓄積時間ΔL)、及び/又はシャッタ23の開放時間(シャッタ速度)の制御によって行われるが、上記輝度Lt100(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるよう光電変換特性を変化させるために必要な撮像センサ30aの積分時間、或いはシャッタ23の開放時間は、上記[A]の絞りの制御による露光量制御の場合と同様にして算出する。すなわち、先ず増幅率Gain(=Vtarget/VtAve)を求め、この増幅率Gainから、増幅率Gt及び増幅率Gsを算出し(Gain=Gt*Gs)、さらにこれら増幅率Gt及び増幅率Gsから露光時間T2及び絞りの開口面積S2を算出するという方法で行う(当該演算によって得られる露光時間T2が、図28での露光量制御で用いられる露光時間に相当し、この露光時間が得られるよう調整するための設定値が「露光時間設定値」となる)。
前記露光時間設定値を求めるための演算は(露光時間を算出する過程で絞りの開口面積も自ずと算出される)、露光時間制御パラメータ算出部5111にて行われる。なお、この場合も前記[A]と同様、露光時間を導出する途中過程での演算(増幅率Gt及び増幅率Gsの算出)は、絞り制御パラメータ算出部5112にて行い、その後、増幅率Gtからの露光時間の算出を、露光時間制御パラメータ算出部5111において行うようにしてもよい。
このように、露光時間を制御して、対数特性領域を固定させた状態で線形特性領域を変化させるような露光量制御を行うことで、ダイナミックレンジを維持したまま、つまり図28においてセンサ出力飽和レベルVmaxに対する被写体輝度Lm100の値を変化させることなく、線形特性領域だけ変化させる制御が可能となる。
換言すれば、当該[C]の場合の露光量制御が可能となることで、例えば全体的に露光量を調整したい場合、すなわち暗い場所で撮影された画像を全体的に明るくしたい場合には、[A]における光電変換特性全体を変化させてダイナミックレンジを広げることが可能な露光量制御を行い(図27参照)、一方、例えばダイナミックレンジはこれでよいものの、輝度が低い部分の画像の露光量調整(コントラストや明るさの調整)を行いたい場合には、[C]の露光量制御を行う、というように、露光量制御方法の選択肢(自由度)が増すことになり、ひいてはより精度の高いAE制御が行えるようになる。なお、デジタルカメラ1aは、[A]の絞り制御に基づく露光量制御を行う構成、又は[C]の露光時間制御に基づく露光量制御を行う構成の何れか一方のみを備えている、すなわち当該露光量制御を、絞り制御又は露光時間制御の何れか一方のみの制御により行う構成であってよい。
図29は、前記[B]における、「光電変換特性制御」に基づくダイナミックレンジ制御を行う場合の撮像センサ30aの光電変換特性が変化する様子を示すグラフ図である。ここでは、光電変換特性、すなわち変曲点の出力レベル(センサ出力Vth)が制御されることでダイナミックレンジの制御が行われる。具体的には、第1の実施形態における図19の場合と同様、例えばダイナミックレンジ設定用被写体輝度である輝度Lm20に対するセンサ出力が、光電変換特性861における点862でのセンサ出力(Vover)から光電変換特性871における点872でのセンサ出力(Vmax;撮像センサ30aの飽和出力レベル)まで減少するように、別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度が、点863での輝度Lm10から点872での輝度Lm20へと大きくなるように(ダイナミックレンジが広がるように)、変曲点位置が変曲点864(Vth1)から変曲点874(Vth2)に変化される(この変曲点の変化によって、対数特性領域が符号Jで示す矢印方向(センサ出力軸方向)に傾きが一定のまま平行移動する)。
このようにダイナミックレンジを制御するための変曲点位置の制御に関する光電変換特性設定値は、ダイナミックレンジ制御パラメータ算出部512aによって算出される。光電変換特性設定値の算出方法は、図23に示す第1の実施形態と同様である。すなわち、光電変換特性の線形特性領域及び対数特性領域をそれぞれモデル化することで、所要のダイナミックレンジを確保するべく変化(移動)した後の光電変換特性の変曲点(図29では例えば変曲点874;Vth2)を算出し、変化前の光電変換特性の変曲点(例えば変曲点864;Vth1)がこの変化後の変曲点の位置となるよう光電変換特性を変化させるための制御値として「光電変換特性設定値」が算出される。
この算出された光電変換特性設定値に基づいて、実際に変曲点の出力レベル(Vth)を変化させるための制御信号、つまり上述したΔRST(信号φRSTのMid電位のレベル)を制御するための信号がダイナミックレンジ制御信号発生部521aにより発生される。そして、このΔRSTが制御されることにより、撮像センサ30aの光電変換特性における変曲点での出力レベルが制御される。図29においては、光電変換特性861に対する或るΔRSTによる変曲点864の出力レベルがセンサ出力865である場合、例えばこのΔRSTを減少させると、センサ出力865からセンサ出力875へと出力レベルが小さくなり、これに応じて変曲点位置も光電変換特性871の変曲点874へと移動する(ΔRSTを増加させる場合は逆に変曲点874から変曲点864へと変化する)。このように、[B]の場合のダイナミックレンジ制御における光電変換特性の制御は、ΔRSTの制御によって実現される。
なお、第2の実施形態においても同様に、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、飽和判別部4055(図14参照)によって撮像センサ30aの出力レベルが飽和していないと判別された場合に行われ、該出力レベルが飽和していると判別された場合には、飽和画素数に応じてΔVth分だけ変曲点での出力レベルを低下させるように(図23(a)参照)、すなわち撮像センサ30aによって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように光電変換特性を変化させてもよい。
ところで、本第2の実施形態における上記[A]〜[C]の各場合によるAE制御においても、第1の実施形態と同様、所定の露出設定用の被写体輝度に対する撮像センサの出力が該撮像センサの線形特性領域で得られるよう、つまり露出設定用の被写体輝度が線形特性領域で撮像されるようAE制御が行われる。[A]の場合、図27においては、露出設定用(露光量設定用)の被写体輝度を例えばLt1とすると、この輝度Lt1に対するターゲットとしてのセンサ出力の値Vtargetが線形特性領域での値となる光電変換特性831が得られるよう絞り制御による露光量制御が行われる。
この場合も第1の実施形態と同様、絞り制御による露光量制御前に、輝度Lt1に対するセンサ出力が対数特性領域に位置している場合には(図27では例えば輝度Lt1に対するセンサ出力が光電変換特性831の対数特性領域に位置している場合には)、当該輝度Lt1に対するセンサ出力が、対数特性領域ではなく線形特性領域に位置する光電変換特性となるよう(光電変換特性831全体が矢印Hの右方向に移動されるよう)絞りの開口を狭める即ち絞りの開口面積を減少させる露光量制御(絞り制御)を行う。
また、輝度Lt1に対するセンサ出力が線形特性領域に位置してはいるものの、比較的出力レベルが低い領域にある場合には(例えば輝度Lt1に対するセンサ出力が線形特性領域での点822の低レベル位置となるような場合には)、このセンサ出力が線形特性領域の比較的出力レベルが高い領域(点823の位置)に位置する光電変換特性となるよう(光電変換特性821から光電変換特性831へと変化するよう)絞りの開口面積を増加させる露光量制御を行う。このように、露出設定用の被写体輝度に相当する撮像センサ30aの出力が、線形特性領域のうちの比較的出力レベルが高い領域から出力されるよう絞り制御による露光量制御が行われるので、低輝度被写体であってもコントラスト性を高めることが可能となる。なお、センサ出力Vtargetが線形特性領域に位置する光電変換特性となるような当該光電変換特性の変化制御は、絞り制御パラメータ算出部5112により算出された絞り設定値に基づいてなされる。
また、[C]の場合、図28においては、露出設定用(露光量設定用)の被写体輝度を例えばLt100とすると、この輝度Lt100に対するターゲットとしてのセンサ出力Vtargetが線形特性領域に位置する光電変換特性851が得られるよう露光時間制御(積分時間制御やシャッタ開放時間制御)による露光量制御が行われる。この場合も上記[A]の場合と同様、輝度Lt100に対するセンサ出力値が対数特性領域での値となっている場合には(例えば輝度Lt100に対するセンサ出力が光電変換特性851の対数特性領域に位置している場合には)、当該輝度Lt100に対するセンサ出力値が線形特性領域での値となるよう(線形特性領域における傾きが例えば傾きK2からK1へ変化するように変化して当該線形特性領域の部分が右方向に移動するよう)露光時間を短くする露光量制御(露光時間制御)が行われ、また、輝度Lt1に対するセンサ出力値が線形特性領域での値となってはいるものの、比較的出力レベルが低い領域にある場合には(例えば輝度Lt100に対するセンサ出力が線形特性領域での点843の低レベル位置となるような場合には)、このセンサ出力値が線形特性領域の比較的出力レベルが高い領域(点853の位置)となる光電変換特性となるよう(光電変換特性821から光電変換特性831へと変化するよう、つまり線形特性領域の傾き傾きK1からK2へと変化するよう)露光時間を長くする露光量制御が行われる。このように、露出設定用の被写体輝度に相当する撮像センサ30aの出力が、線形特性領域のうちの比較的出力レベルが高い領域から出力されるよう露光時間制御による露光量制御が行われるので、低輝度被写体であってもコントラスト性を高めることが可能となる。なお、センサ出力Vtargetが線形特性領域に位置する光電変換特性となるような当該光電変換特性の変化制御は、露光時間制御パラメータ算出部5111により算出された露光時間設定値に基づいてなされる。
また、[B]の場合、図29においては、露出設定用(ダイナミックレンジ設定用)の被写体輝度を例えばLt10とすると、この輝度Lt10に対するターゲットとしてのセンサ出力Vtargetが線形特性領域に位置する光電変換特性へと変化する(ここでは光電変換特性871から光電変換特性861へと変化される)ようなダイナミックレンジ制御(光電変換特性制御)、具体的には変曲点874から変曲点864へと変化させるような変曲点位置制御、すなわち変曲点を撮像センサの高出力レベル部位に設定するような制御が行われる。なお、上述のようにセンサ出力Vtargetが線形特性領域に位置する光電変換特性となるような当該光電変換特性への変化制御は、ダイナミックレンジ制御パラメータ算出部512aにより算出された光電変換特性設定値に基づいてなされる。
なお、上記[A]、[C]、[B]の場合におけるAE制御パラメータの算出ステップにおいて、AE評価値取得時における光電変換特性が、既に上述のように露出設定用輝度に対してVtargetが得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、前回のAE評価値取得時における絞り設定値、露光時間設定値、或いは光電変換特性設定値と同じ値になったとしても、今回における絞り設定値、露光時間設定値、或いは光電変換特性設定値の算出が行われる構成であってもよい。
このように、互いに独立して制御可能とされた、[A]の絞り制御(露光量制御)及び/又は[C]の露光時間制御(露光量制御)、及び/又は[B]の光電変換特性制御(ダイナミックレンジ制御)に基づくAE制御によって、露出(露光量)設定用輝度(主被写体)を光電変換特性の線形特性領域において撮影し、且つ所定のセンサ出力レベルで出力することが可能となる。なお、[A]〜[C]の制御のうち1つの制御のみを用いて([A]〜[C]の制御を単独で行い)当該露出設定用輝度が線形特性領域で撮影されるようなAE制御を行ってもよいし、これら各制御を組み合わせて行ってもよい(例えば、絞り制御及び/又は露光時間制御に加えてさらにダイナミックレンジ制御を行う)。これにより、互いに独立した絞り制御及び/又は露光時間制御、及び/又はダイナミックレンジ制御による、より高い自由度での、またこれら各制御の組み合わせに応じた効率の良い当該AE制御が可能となる。
以上、本発明の実施形態につき説明したが、本発明はこれに限定されるものではない。例えば、下記(A)〜(G)の態様を取ることができる。
(A)上記第1の実施形態では、撮像センサ30の各画素において、PチャンネルMOSFETを採用しているが、NチャンネルMOSFETを採用してもよい。また、上記第2の実施形態では、撮像センサ30aの各画素において、NチャンネルMOSFETを採用しているが、PチャンネルMOSFETを採用してもよい。
(B)上記第1及び第2の実施形態について、これら各場合と同様に動作する(第1の実施形態では、例えば露光量制御としての絞り制御及び露光時間制御に応じて光電変換特性全体が変化する。第2の実施形態では、例えば絞り制御により光電変換特性全体が変化するものの、露光時間制御については、線形特性領域では積分効果があり該特性が露光時間に応じて変化するが、対数特性領域では積分効果がなく露光時間に依らず該特性が固定される。ただし、各実施形態も変曲点位置の制御に基づくダイナミックレンジ制御が行われる)撮像センサであれば、いずれの撮像センサであってもよい。
(C)上記第1(第2)の実施形態では、撮像センサ30(撮像センサ30a)によって被写体輝度を検出しているが、撮像センサ30(撮像センサ30a)とは別に設けた測光素子(被写体の輝度を複数の受光素子にて分割して測光する素子)等を用いて被写体輝度(AE評価値)を検出するようにしてもよい。ただし、機構の簡略化の観点からは撮像センサ30(撮像センサ30a)により撮像される実際の撮影画像から得られる画像信号に基づいて被写体輝度(AE評価値)を検出することが望ましい。
(D)上記第1(第2)の実施形態では、シャッタ23及び撮像センサ30(撮像センサ30a)の構成を備えて露光時間を制御する構成であるが、シャッタ23及び撮像センサ30(撮像センサ30a)のいずれか一方のみの構成を備えて露光時間を制御する構成としてもよい。
(E)上記第1の実施形態では、露光時間T2及び絞りの開口面積S2をLUTによるデータ変換することにより得られた撮像センサ30やシャッタ23、絞り22に対する設定値を、それぞれ露光時間設定値及び絞り設定値としているが、増幅率Gt、Gs(又は露光時間T2、絞りの開口面積S2)を、それぞれ露光時間設定値及び絞り設定値としてもよい。同様に、変曲点の出力レベルVth2(又はΔVth)を光電変換特性設定値としてもよい。第2の実施形態の場合もこれと同様、増幅率Gt、Gsを、それぞれ露光時間設定値及び絞り設定値としてもよいし、変曲点の出力レベルを光電変換特性設定値としてもよい。
(F)上記第1及び第2の実施形態では、評価値算出用の画像データとしてRGB原色データを用いているが、補色画像データやモノクロ画像データなどの他の画像データを用いてもよい。
(G)撮像領域330の分割(領域分割)は、分割測光方式による分割でなくともよく、例えばスポット測光方式或いは中央部部分測光方式等、いずれの方式によってもよい。また、撮像領域330の主被写体領域331及び周辺被写体領域332のブロック構成は、図15に示すような構成でなくともよい。また、当該ブロック毎に評価値を算出しているが、主被写体領域331と周辺被写体領域332との2つの領域(2ブロック;各領域を1ブロックとする)における評価値を算出する構成であってもよい。また、撮像領域330を主被写体領域331及び周辺被写体領域332といった2つの領域に分けるのではなく、3つ以上の領域に分け、当該各領域(のブロック)での輝度情報から評価値を算出し、これに基づくAE制御を行う構成としてもよい。或いは撮像領域を分けずに当該1つの撮像領域に対して同様に評価値を算出してAE制御を行う構成としてもよい、さらに、撮像領域330の上述のような各領域(ブロック)の領域設定を、ユーザの操作指示に応じて随時行う構成であってもよい。