JP2011091584A - 撮像装置、撮像方法及び電子機器 - Google Patents

Abstract

【課題】多段露光において、理論的にかつ動的に露光量の比率を決定するのに好適な撮像装置、撮像方法及び電子機器を提供する。
【解決手段】撮像装置１を、撮像素子１０と、メモリ１１〜１３と、画像合成部１４と、制御部１５と、画像解析部１６と、操作部１７とを含む構成とし、制御部１５は、３種類の露光量Ｌ１〜Ｌ３（Ｌ１＜Ｌ２＜Ｌ３）における隣接する各２つの露光量の比率「Ｌ２／Ｌ１」と「Ｌ３／Ｌ２」とが均等（Ｌ２／Ｌ１＝Ｌ３／Ｌ２）となる露光時間Ｔ１〜Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）の比率情報「Ｔ１：Ｔ２：Ｔ３（Ｔ２／Ｔ１＝Ｔ３／Ｔ２）」を決定し、撮像素子１０は、制御部１５で決定した前記露光時間の比率情報に基づき撮像処理を行うようにした。
【選択図】図１

Description

本発明は、露光量の異なる複数種類の撮像画像データを合成して、ダイナミックレンジを拡張した画像データを生成するのに好適な撮像装置、撮像方法及び電子機器等に関する。

従来、複数種類の露光量（露光時間）で同一被写体を撮像し、この撮像で得られた複数種類の露光量にそれぞれ対応した画素信号を合成して、ダイナミックレンジを拡張した画像データ（ＨＤＲ画像データ）を生成する技術がある。かかる技術においては、合成画像における、各露光量に対応する画像部分と他の露光量に対応する画像部分との境界領域に発生するノイズ（偽色、疑似輪郭など）がしばしば問題となっていた。

例えば、露光量Ｌ１、Ｌ２、Ｌ３（Ｌ１＜Ｌ２＜Ｌ３）に対応する露光時間Ｔ１、Ｔ２、Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で同一被写体を撮像して、図８（ａ）〜（ｃ）に示す光応答の画素信号Ｓ１、Ｓ２、Ｓ３が得られたとする。この場合に、図８（ｄ）〜（ｆ）に示すように、まず、最も露光時間の長いＳ３を基準として、画素信号Ｓ１、Ｓ２に係数「Ｔ３／Ｔ１」、「Ｔ３／Ｔ２」を乗算して正規化を行う。次に、正規化した「Ｓ１×Ｔ３／Ｔ１」及び「Ｓ２×Ｔ３／Ｔ２」と、「Ｓ３」とを線形合成する。これにより、図８（ｇ）に示すように、ダイナミックレンジを拡張した（Ｓ／Ｎの良い）撮像画像信号が得られる。

しかし、撮像時に、オフセット変動などの外的要因により、設定した露光時間において、異なる光応答で画像が撮像されてしまう場合がある。このような場合に、係数値「Ｔ３／Ｔ１」、「Ｔ３／Ｔ２」が不適切な値となり、合成後の撮像画像信号の線形性が崩れる恐れがある。線形性が崩れると、図１１に示す折れ線の接続部分において、偽色や疑似輪郭等の原因となるノイズが発生する。

このような問題を解決するために、特許文献１では、撮影された画像の正確な光応答傾きを求めている。また、特許文献２では、カメラのＯＢ領域（オフセットレベル）を考慮して傾きが一致するように補正を行っている。また、特許文献３では、画像のヒストグラムを解析することで正確な露光量の比率を求めている。また、画像の特性を解析しない手法として、特許文献４では、合成画像の境界領域付近にローパスフィルターを掛けて不自然さを緩和している。

特開平７−１３１７０８号公報 特開２００１−３５２５５２号公報 特開平８−２１４２１１号公報 特開２００４−４８４４５号公報

ところで、画像の正確な露光量（露光比）がわかり、適切な係数を掛けて画像を合成した場合であっても、撮像時のＴ１：Ｔ２：Ｔ３の比率自体が不適切な場合、センサのＳ／Ｎ限界に起因するノイズ成分が、合成後の画像に発生する場合がある。
例えば、図８（ｄ）〜（ｇ）に示すように、撮像画像信号Ｓ１のノイズ領域（図中の波線部分）をＳ２が補完し、Ｓ２のノイズ領域をＳ３が補完する関係に各々の露光時間が設定されていれば上記問題は生じない。ところが、図１２（ｄ）〜（ｇ）に示すように、Ｔ２の露光時間が若干短い場合は、Ｓ２のノイズ領域をＳ３で十分に補完できず、Ｓ２とＳ３との境界付近にノイズが発生してしまう。

しかしながら、上記特許文献１〜４を含む従来技術において、３段以上の多段露光の最適化に対して、理論的にかつ動的に露光量の比率を決定する方法が存在しなかった。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものである。本発明の幾つかの態様によれば、多段露光において、理論的にかつ動的に露光量の比率を決定するのに好適な撮像装置、撮像方法及び電子機器を提供できる。

〔形態１〕 上記目的を達成するために、形態１の撮像装置は、
昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量で被写体を撮像する撮像手段と、
前記撮像手段で撮像して得られた前記３種類以上の露光量の各露光量に対応する画素信号を前記比率に基づき合成する合成手段と、を備える。
このような構成であれば、撮像手段によって、昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量で被写体が撮像される。３種類以上の露光量で被写体が撮像されると、合成手段によって、前記３種類以上の露光量の各露光量に対応する画素信号が前記比率に基づき合成される。

具体的に、例えば、３種類の露光量Ｌ１、Ｌ２、Ｌ３（Ｌ１＜Ｌ２＜Ｌ３）で被写体を撮像した場合に、このように昇順で隣接する各２つの露光量の比率は、「Ｌ２／Ｌ１」、「Ｌ３／Ｌ２」と表すことができる。これらが均等になるとは、「Ｌ２／Ｌ１＝Ｌ３／Ｌ２」となることである。この関係を満たすためには、撮像手段の機能に応じて、例えば、アイリス（レンズの絞り）、撮像感度、露光時間などを調整することになる。例えば、露光時間を調整する場合は、露光量と露光時間との関係が線形であれば、隣接する各２つの露光量の比率は、露光時間の比率で表現することもできる。つまり、「Ｔ２／Ｔ１」、「Ｔ３／Ｔ２」と表すことができる。

そして、これら露光量の比率を均等にすると、入射光量（対数）に対する撮像手段の光応答（出力画素信号レベル）を等間隔に並ばせることができる。これにより、合成する画像同士の露光量比が常に一定となるため、合成後の画像において、暗部から明部に渡って明るさの変化が均等となり、ノイズの発生が少ない画像を得ることができるという効果が得られる。
ここで、上記均等とは、完全な均等だけでなく、本形態の効果を発揮できる範囲のズレであれば均等の範囲内とする。なお、このことは、以下の他の形態においても同様である。

〔形態２〕 更に、形態２の撮像装置は、形態１の撮像装置において、
前記３種類以上の露光量を、Ｌ１、Ｌ２、・・・、Ｌｎ（ｎは３以上の自然数且つＬ１＜Ｌ２＜・・・＜Ｌｎ）とし、
前記撮像手段は、隣接する各２つの露光量の比率「Ｌ２／Ｌ１、・・・、Ｌｎ／Ｌ（ｎ−１）」が均等（Ｌ２／Ｌ１＝・・・＝Ｌｎ／Ｌ（ｎ−１））となる露光時間Ｔ１、Ｔ２、・・・、Ｔｎ（Ｔ１＜Ｔ２・・・＜Ｔｎ）で前記被写体を撮像する。

このような構成であれば、撮像手段の機能に応じて、例えば、アイリス（レンズの絞り）、撮像感度、露光時間などを制御して、露光量の比率「Ｌ２／Ｌ１、・・・、Ｌｎ／Ｌ（ｎ−１）」を、均等（Ｌ２／Ｌ１＝・・・＝Ｌｎ／Ｌ（ｎ−１））にすることができる。
これにより、合成する画像同士の露光量比を常に一定とすることができ、合成後の画像において、暗部から明部に渡って明るさの変化が均等となり、ノイズの発生が少ない画像を得ることができるという効果が得られる。

〔形態３〕 更に、形態３の撮像装置は、形態１又は２の撮像装置において、
前記３種類以上の露光量を決定する複数種類の露光量の決定方法のうちから、いずれか１つの決定方法を選択する選択手段と、
前記選択手段で選択された決定方法に基づき、前記３種類以上の露光量を決定する露光量決定手段と、を備え、
前記撮像手段は、前記露光量決定手段で決定された３種類以上の露光量で被写体を撮像する。

このような構成であれば、選択手段において、複数種類の露光量の決定方法のうちから、いずれか１つの決定方法が選択される。そして、決定方法が選択されると、露光量決定手段において、選択された決定方法を用いて、昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量が決定される。前記３種類以上の露光量が決定されると、撮像手段は、決定された露光量で被写体を撮像する。
従って、ユーザーは、例えば、画質を優先させた決定方法、レンジを優先させた決定方法などの複数種類ある決定方法のうちから、任意の１つを選択することができる。そして、選択した決定方法で決定された３種類以上の露光量で被写体を撮像させることができる。

〔形態４〕 更に、形態４の撮像装置は、形態３の撮像装置において、
前記決定方法は、前記３種類以上の露光量のうち最大露光量と最小露光量とを設定し、当該設定された最大露光量及び最小露光量に基づき前記隣接する各２つの露光量の比率が均等となる中間の露光量を算出して前記３種類以上の露光量を決定する方法を含む。
このような構成であれば、例えば、ダイナミックレンジなどに基づき、露光量の最大値と最小値とを設定することで中間露光量を算出し、昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量を決定することができる。
つまり、撮像装置の実現可能なダイナミックレンジの範囲内において、任意のレンジ（所望の最大値及び最小値）を設定することができる。これにより、設定した最小値及び最大値によって決まるレンジ幅において、昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量を自動で決定させることができる。

〔形態５〕 更に、形態５の撮像装置は、形態１又は２の撮像装置において、
前記３種類以上の露光量のうち最大露光量と最小露光量とを設定する露光量設定手段と、
前記露光量設定手段で設定された最大露光量及び最小露光量に基づき前記隣接する各２つの露光量の比率が均等となる中間の露光量を算出して前記３種類以上の露光量を決定する露光量決定手段と、を備える。

このような構成であれば、露光量設定手段によって、露光量の最大値と最小値とが設定されると、露光量決定手段において、昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量が決定される。
つまり、撮像装置の実現可能なダイナミックレンジの範囲内において、任意のレンジ（所望の最大値及び最小値）を設定することができる。これにより、設定した最小値及び最大値によって決まるレンジにおいて、昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量を自動で決定させることができる。

〔形態６〕 更に、形態６の撮像装置は、形態４又は５の撮像装置において、
３種類の露光量Ｌ１、Ｌ２及びＬ３（Ｌ１＜Ｌ２＜Ｌ３）で被写体を撮像する場合に、
前記露光量決定手段は、下式（１）に従って、前記中間の露光量である露光量Ｌ２を算出する。
Ｌ２＝Ｌ１×（Ｌ３／Ｌ１）^1/2 ・・・（１）
このような構成であれば、所望の最小値及び最大値を設定することで、上式（１）によって、簡易に、昇順又は降順で隣接する各２つの露光量の比率が均等となる中間の露光量を算出することができる。

〔形態７〕 更に、形態７の撮像装置は、形態１乃至６のいずれか１の撮像装置において、
撮像環境の明るさに係る情報に基づき、前記隣接する各２つの露光量の比率を均等に保ったまま、前記３種類以上の露光量が前記撮像環境の明るさに適した露光量となるように前記撮像手段の露光量に係る制御量を調整する露光量調整手段を備える。
このような構成であれば、露光量調整手段によって、撮像環境の明るさに係る情報に応じて、前記隣接する各２つの露光量の比率を互いに均等に保ったまま、前記３種類以上の露光量を撮像環境の明るさに適した露光量に調整することができる。

これによって、明るい環境や、暗い環境などに応じて、上記比率を均等に保ちながら露光量を撮像環境の明るさに適した露光量に調整することができる。従って、合成後の画像において、暗部から明部に渡って明るさの変化が均等となり、ノイズの発生が少ない画像を得ることができるという効果を維持したまま、撮像環境に対して、より適合する露光量を設定することができるという効果が得られる。
ここで、撮像手段の露光量に係る制御量とは、例えば、アイリス（レンズの絞り）、撮像感度、露光時間などの制御量が該当する。

〔形態８〕 一方、上記目的を達成するために、形態８の撮像方法は、
昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量で被写体を撮像する撮像ステップと、
前記撮像ステップで撮像して得られた前記３種類以上の露光量の各露光量に対応する画素信号を前記比率に基づき合成する合成ステップと、を含む。
このような構成であれば、形態１に記載の撮像装置と同等の作用及び効果を得ることができる。

〔形態９〕 また、上記目的を達成するために、形態９の電子機器は、
形態１乃至７のいずれか１に記載の撮像装置を備える。
このような構成であれば、形態１乃至７のいずれか１に記載の撮像装置と同等の作用及び効果が得られる。

本発明に係る撮像装置１の構成を示すブロック図である。 撮像素子１０の構成を示すブロック図である。 走査ラインスキャナの詳細な構成を示すブロック図である。 センサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。 露光量の制御処理を示すフローチャートである。 画像合成部１４におけるＨＤＲ合成処理を示すフローチャートである。 （ａ）〜（ｇ）は、比率が均等となるように決定された露光時間Ｔ１〜Ｔ３における入射光に対する応答信号Ｓ１〜Ｓ３、正規化信号及び合成信号ＨＤＲの一例を示す図である。 図８（ａ）〜（ｃ）における入射光の軸を対数で表した場合の図である。 制御部１５における露光比情報生成処理を示すフローチャートである。 線形性が崩れた場合の合成画像信号の一例を示す図である。 （ａ）〜（ｇ）は、不適切な露光比の露光時間Ｔ１〜Ｔ３における入射光に対する応答信号Ｓ１〜Ｓ３、正規化信号及び合成信号ＨＤＲの一例を示す図である。

〔第１実施形態〕
以下、本発明の第１実施形態を図面に基づき説明する。図１〜図９は、本発明に係る撮像装置、撮像方法及び電子機器の第１実施形態を示す図である。
まず、本発明に係る撮像装置の構成を図１に基づき説明する。図１（ａ）は、本発明に係る撮像装置１の構成を示すブロック図であり、（ｂ）は、撮像素子１０の構成を示す模式図であり、（ｃ）は、画像合成部１４の構成を示すブロック図である。

撮像装置１は、図１（ａ）に示すように、撮像素子１０と、メモリ１１〜１３と、画像合成部１４と、制御部１５と、画像解析部１６と、操作部１７とを含んで構成される。
撮像素子１０は、３種類以上の露光量で被写体を撮像する機能を有し、図１（ｂ）に示すように、レンズ１０ａと、マイクロレンズ１０ｂと、カラーフィルタアレイ１０ｃと、ＨＤＲセンサ１０ｄとを含んで構成される。

以下、説明の便宜上、撮像素子１０は、３種類の露光量Ｌ１、Ｌ２、Ｌ３（Ｌ１＜Ｌ２＜Ｌ３）に対応する露光時間Ｔ１、Ｔ２、Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）で撮像を行うものとして構成を説明をする。もちろん、露光量は３種類に限らず、４種類以上であってもよい。
レンズ１０ａは、被写体からの反射光を集光して、マイクロレンズへと導くものである。なお、撮像条件などに応じて、単焦点レンズ、ズームレンズ、オートアイリスレンズなどの種類がある。

マイクロレンズ１０ｂは、レンズを透過した光をＨＤＲセンサの有するセンサセルアレイの各センサセル（画素）に集光するものである。
カラーフィルタアレイ１０ｃは、マイクロレンズ１０ｂを透過した光から所定の１種類の色要素に対応する波長の光を分離して該分離した光を対応する各画素に入射するカラーフィルター部（以下、ＣＦ部と称す）を少なくとも画素数分含んで構成されるものである。

ＨＤＲセンサ１０ｄは、電子シャッタ方式によって露光時間Ｔ１〜Ｔ３を制御して露光量の異なる３種類のデジタルの画像データを出力するものである。
メモリ１１〜１３は、撮像素子１０において、異なる複数の露光時間Ｔ１〜Ｔ３で被写体を撮像して得られた３種類の露光量Ｌ１〜Ｌ３に対応する画像データを一時記憶し、同期をとって画像合成部１４に出力するバッファとしての役割を果たすものである。

画像合成部１４は、図１（ｂ）に示すように、ＨＤＲ信号処理部１４ａと、フレームメモリ１４ｂとを含んで構成される。
ＨＤＲ信号処理部１４ａは、図示しないが、プリプロセス部と、合成処理部と、メモリインターフェース（以下、メモリＩＦと称す）とを含んで構成される。
プリプロセス部は、メモリ１１〜１３からの画素信号（デジタルの画素データＳ１〜Ｓ３）に対して、固定パターンノイズの除去処理、クランプ処理などを行う。

合成処理部は、メモリ１１〜１３からの画像データ及び制御部１５からの露光比情報に基づき、ＨＤＲ合成処理を行う。そして、ＨＤＲ合成処理後の画像データをＨＤＲ画像データとして、メモリＩＦを介してフレームメモリに格納する。
メモリＩＦは、フレームメモリ１４ｂに対するデータの書き込み及びデータの読み出しを調停する機能を有している。具体的に、プリプロセス部、合成処理部からの、データの読出要求及び書込要求に応じて、正常に読み書きが行われるように、これらの調停を行う。そして、各構成部からの要求に応じた、フレームメモリ１４ｂからのデータの読み出し、及びフレームメモリ１４ｂへのデータの書き込み処理を実行する。

フレームメモリ１４ｂは、ＨＤＲ信号処理部１４ａにおいて合成後のＨＤＲ画像データを記憶するメモリである。
制御部１５は、操作部１７からの入力情報に基づき露光比情報を生成する機能と、画像解析部１６から取得した統計情報に基づき現在の露光比を適切なものに調整する機能と、生成した露光比情報を画像合成部１４に出力する機能とを有するものである。

更に、制御部１５は、調整後の露光比に対応する露光比情報又は新規に生成した露光比情報に基づき露光量信号を生成し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する機能も有している。ここで、各種制御信号は、垂直同期信号、水平同期信号、ピクセルクロックなどを含む。
具体的に、本実施形態の撮像素子１０は、制御部１５から出力される露光量信号に応じた３種類の露光量Ｌ１〜Ｌ３に対応する露光時間Ｔ１〜Ｔ３で同一被写体を撮像する。

そして、本実施形態において、制御部１５は、昇順に並ぶ露光量Ｌ１、Ｌ２、Ｌ３における隣接する各２つの露光量の比率「Ｌ２／Ｌ１」、「Ｌ３／Ｌ２」が均等（Ｌ２／Ｌ１＝Ｌ３／Ｌ２）となるように露光量Ｌ１〜Ｌ３に対応する露光時間Ｔ１〜Ｔ３を設定するようになっている。
また、本実施形態では、制御部１５は、撮像環境の明るさに応じて露光量比を最適な比となるように調整するようになっている。そのために、制御部１５は、画像解析部１６から得たＨＤＲ画像データの輝度平均値Ｌａｖと、予め用意された高輝度側の閾値Ｌｔｈと、低輝度側の閾値Ｌｔｌとをそれぞれ比較する。

制御部１５は、この比較結果によって、平均輝度値ＬａｖがＬｔｈより大きければ、撮像環境が比較的明るいと判断し、ＬａｖがＬｔｌより小さければ、撮像環境が比較的暗いと判断する。更に、この判断結果に基づき、現在設定されている露光時間Ｔ１〜Ｔ３を、露光量の比率を均等とする状態を保ったままで増減することで、撮像環境の明るさに対して最適な露光量比となるように調整を行う。

画像解析部１６は、画像合成部１４で生成されたＨＤＲ画像データに基づき、撮像環境の明るさに係る統計情報を算出し、算出した統計情報を制御部１５に出力する機能を有している。具体的に、画像解析部１６は、複数フレームの連続撮像において、画像合成部１４から得たＨＤＲ画像データ（少なくとも最初のフレーム分を含む）を統計的に解析する。本実施形態では、撮像環境の明るさに係る情報を得るために、統計情報として、ＨＤＲ画像データの輝度平均値Ｌａｖを算出する。そして、算出したＬａｖを、制御部１５に出力する。
操作部１７は、撮像時、撮像画像の閲覧時、複数種類の撮像モードのうち任意のモードを選択時などにユーザによって操作されるもので、ユーザの操作内容に応じた情報を制御部１５に出力する機能を有している。

次に、図２に基づき、撮像素子１０のＨＤＲセンサ１０ｄの構成を説明する。ここで、図２は、ＨＤＲセンサの構成を示すブロック図である。
ＨＤＲセンサ１０ｄは、図２に示すように、基準タイミング発生器５０と、走査ラインスキャナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。
基準タイミング発生器５０は、制御部１５からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生し、これを走査ラインスキャナ５４に出力する。

走査ラインスキャナ５４は、基準タイミング発生器５０及び制御部１５からの各種信号に基づき、リセット処理を行うラインを有効にするリセットライン選択信号を生成する。そして、該生成したリセットライン選択信号をセンサセルアレイ５６に出力する。
更に、走査ラインスキャナ５４は、リセット後で且つ設定された露光時間の電荷の蓄積が行われたラインを画素信号の読出ラインとして有効にする読出しライン選択信号を生成する。そして、該生成した読出ライン選択信号をセンサセルアレイ５６に出力する。
センサセルアレイ５６は、ＣＭＯＳ技術を用いて構成された、受光素子（フォトダイオードなど）を含む複数のセンサセル（画素）が２次元マトリクス状に配設された構成の受光領域を備え、各画素のラインに対して、アドレス線、リセット線及び読出し線が共通に接続された構成を有している。

そして、前記３つの制御線を介して各種駆動信号（選択信号）が各ラインを構成するセンサセルに送信され、アドレス線及び読出し線が有効になると、信号線を介して蓄積電荷（画素信号）を水平転送部５８に転送（出力）する。
このような構成によって、センサセルアレイ５６は、走査ラインスキャナ５４から供給される選択信号に基づき、アドレス線により、リセット動作又は読出し動作を行わせる画素のラインを有効に（選択）する。そして、当該選択信号で選択したラインの各画素に対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。更に、選択信号によって選択された各画素おいては、リセット動作を指示する信号が入力されたときはリセット動作が行われ、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して水平転送部５８への蓄積電荷の転送が行われる。
水平転送部５８は、センサセルアレイ５６の各画素から読み出された画素信号（アナログ信号）のデータをＡ／Ｄ変換して、ライン単位にメモリ１１〜１３へとシリアルで順次出力する。

次に、図３に基づき、走査ラインスキャナ５４の内部構成を説明する。
図３は、走査ラインスキャナ５４の内部構成を示すブロック図である。
走査ラインスキャナ５４は、図３に示すように、リセット走査カウンタ５４ａと、リセット走査アドレスデコーダ５４ｂと、読み出し走査カウンタ５４ｃと、読み出し走査アドレスデコーダ５４ｄとを含んで構成される。

リセット走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号、水平同期信号と、制御部１５からの露光量信号に含まれる露光量（露光時間）の情報とに基づき、カウントアップ動作を繰り返す。ここで、リセット走査カウンタ５４ａのカウント値は、センサセルアレイ５６の各画素のライン番号に対応している。また、露光量信号に含まれる露光時間Ｔ１〜Ｔ３の情報は、走査ラインスキャナ５４の内部レジスタに書き込まれる。
カウント動作が実行されると、リセット走査カウンタ５４ａは、カウンタの初期値から、１ずつカウントアップし、各カウント値を、リセット走査アドレスデコーダ５４ｂに出力する。

また、カウント値は最小ライン番号及び最大ライン番号（例えば、センサセルアレイの受光領域の一番下及び一番上のラインの番号）の範囲をループするようになっている。例えば、最小ライン番号から１ずつカウントアップしていき、最大ライン番号に到達後に１つカウントアップすると、カウント値がリセットされて、最小ライン番号（例えば「１」）へと戻るようになっている。以下、読み出し走査カウンタ５４ｃの各カウンタについても同様である。

リセット走査アドレスデコーダ５４ｂは、リセット走査カウンタ５４ａから出力されるライン番号のラインを、「リセットラインＲ」として選択且つ有効にするためのリセットライン選択信号を生成し、これをセンサセルアレイ５６に出力する。これにより、選択ラインのみが有効となり、それ以外のラインが無効となる。
読み出し走査カウンタ５４ｃは、露光時間Ｔ１〜Ｔ３にそれぞれ対応する３つのカウンタを有しており、各カウンタは、基準タイミング発生器５０からの垂直同期信号、水平同期信号と、レジスタに書き込まれた露光時間Ｔ１〜Ｔ３の情報とに基づき、各露光時間に応じたタイミングで、リセット走査カウンタ５４ａと同様のカウントアップ動作を繰り返す。

具体的に、読み出し走査カウンタ５４ｃの各カウンタは、リセットタイミングに対して、各露光時間に応じたカウント幅を空けてカウントアップを開始し、カウンタの初期値から順に、１ずつカウントアップし、各カウント値を、読み出し走査アドレスデコーダ５４ｄに出力する。
読み出し走査アドレスデコーダ５４ｄは、読み出し走査カウンタ５４ｃの各カウンタから出力されるライン番号のラインを、「読み出しラインＬ１〜Ｌｎ」として選択且つ有効にするための読み出しライン選択信号を生成し、これをセンサセルアレイ５６に出力する。これにより、選択ラインのみが有効となり、それ以外のラインが無効となる。

次に、図４及び図５に基づき、撮像素子１０のＨＤＲセンサの露光時間の制御方法、及びセンサセルアレイからの画素信号の読み出し方法について説明する。ここで、図４は、ＨＤＲセンサのセンサセルアレイにおける各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。また、図５は、蓄積電荷のリセットタイミングと、各露光時間の画素信号の読み出しタイミングとの一例を示す図である。

ここで、本実施形態においては、センサセルアレイ５６の露光領域（走査領域）に対して、露光時間Ｔ１の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ１と、露光時間Ｔ２の画素信号の非破壊読み出しを行う非破壊読み出しラインＬ２とを設定する。更に、各画素のラインの蓄積電荷のリセット及び露光時間Ｔ３の画素信号の読み出しを行う読み出し＆リセットラインＬ３＆Ｒを設定する。なお、Ｔ１〜Ｔ３の関係は、図５に示すように、「Ｔ１＜Ｔ２＜Ｔ３」となっている。そして、リセットされてから、まずＴ１経過時に非破壊読み出しラインＬ１が設定される。次にＴ２経過時に非破壊読み出しラインＬ２が設定され、次にＴ３経過時に読み出し＆リセットラインＬ３＆Ｒが設定される。

具体的に、非破壊読み出しラインＬ１及びＬ２並びに読み出し＆リセットラインＬ３＆Ｒは、図４に示すように、露光領域における画素のラインに順次露光時間Ｔ３分の電荷が蓄積されると、読み出し＆リセットラインＬ３＆Ｒが各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、露光時間Ｔ３分の電荷が蓄積される期間中、露光時間Ｔ１及び露光時間Ｔ２において各画素のラインの画素信号を非破壊で順次読み出すように非破壊読み出しラインＬ１及びＬ２がそれぞれ設定される。

例えば、露光領域の一番目のラインである第１ラインにおいて露光時間Ｔ３の画素信号Ｓ３の読み出し及びリセットが行われたとする。以降は、画素信号Ｓ３が第３ラインメモリから読み出される毎に、図４中のスキャン方向に１ラインずつ、読み出し＆リセットラインＬ３＆Ｒの走査が順次行われる。このとき、読み出し＆リセットラインＬ３＆Ｒが再び第１ラインに到達したときに、丁度、露光時間Ｔ３が経過するタイミングとなるように走査が行われる。このような手順で、センサセルアレイの露光領域の画素のラインに対して、各画素のライン毎に、露光時間Ｔ３で露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。

一方、蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、非破壊読み出しラインＬ１において露光時間Ｔ１の露光が行われた画素の画素信号Ｓ１の非破壊読み出しを行い、引き続き、非破壊読み出しラインＬ２において露光時間Ｔ２の露光が行われた画素の画素信号Ｓ２の非破壊読み出しを行う。このような手順で、センサセルアレイの各画素のラインに対して、ライン毎に、露光時間Ｔ１及び露光時間Ｔ２で露光時の画素信号Ｓ１及びＳ２の非破壊読み出しを順次行う。

なお、本実施の形態においては、図４に示すように、露光時間Ｔ１に対応する画素信号のデータ（アナログデータ）Ｓ１は、第１ラインメモリに読み出され、露光時間Ｔ２に対応する画素信号のデータ（アナログデータ）Ｓ２は、第２ラインメモリに読み出される。更に、露光時間Ｔ３に対応する画素信号のデータ（アナログデータ）Ｓ３は、第３ラインメモリに読み出される。そして、これら読み出された画素信号のデータＳ１〜Ｓ３（以下、画素データＳ１〜Ｓ３と称す）は、図４に示すように、それぞれ選択回路を経てＡＤＣにＳ１〜Ｓ３の順で順次出力されそこでデジタルデータに変換される。変換された各画素データＳ１〜Ｓ３は、変換された順に（Ｓ１〜Ｓ３の順に）、Ｓ１はメモリ１１に、Ｓ２はメモリ１２に、Ｓ３はメモリ１３にそれぞれ出力される。

次に、図６に基づき、制御部１５における露光量の制御処理の流れを説明する。ここで、図６は、露光量の制御処理を示すフローチャートである。
制御部１５において、露光量の制御処理が開始されると、図６に示すように、まず、ステップＳ１００に移行する。
ステップＳ１００では、制御部１５において、最短露光時間Ｔｍｉｎ及び最長露光時間Ｔｍａｘの初期値を設定して、ステップＳ１０２に移行する。初期値の設定は、操作部１７を介してユーザが入力又は選択した値を用いても良いし、標準露光時間として予め設定されている初期値を用いてもよい。

ステップＳ１０２では、制御部１５において、ステップＳ１００で設定された初期値を用いて、中間の露光量に対応する露光時間である露光時間Ｔｍｄを算出し、算出したＴｍｄと、初期値として設定したＴｍｉｎ及びＴｍａｘとに基づき露光比情報を生成する。そして、生成した露光比情報に基づき露光量信号を生成し、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、ステップＳ１０４に移行する。

本実施形態では、露光量の種類をＬ１〜Ｌ３の３種類としたので、露光量Ｌ１に対応する最短露光時間ＴｍｉｎはＴ１に、露光量Ｌ３に対応する最長露光時間ＴｍａｘはＴ３となる。そして、露光量Ｌ２に対応する中間露光時間ＴｍｉｄはＴ２となる。そして、制御部１５は、下式（２）に従って、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２」となる中間露光時間Ｔ２を算出する。

Ｔ２＝Ｔ１×（Ｔ３／Ｔ１）^1/2 ・・・（２）

例えば、設定可能な最短露光時間Ｔｍｉｎが１Ｈ、最長露光時間Ｔｍａｘが１０００Ｈの場合は、Ｔ１＝１Ｈ、Ｔ３＝１０００Ｈとして、上式（２）から「Ｔ２＝１×（１０００／１）^1/2≒３２」と算出できる。これにより、露光量比＝露光時間比＝「１：３２：１０００」が求まる。この場合は、ＨＤＲ合成により拡張できるダイナミックレンジが「６０[ｄＢ]」となる。

なお、センサセルアレイにおける１ラインの走査時間を水平同期信号の呼称であるＨＳＹＮＣの頭文字を取り、１Ｈと表している。例えば、センサセルアレイの総ライン数５００ラインに対して、フレームレートが３０[fps]の場合は、１Ｈの期間は１／３０秒を５００ラインで除算した時間、つまり１／１５０００秒、換言すれば１／１５ミリ秒（約６７μ秒）となる。

ステップＳ１０４では、撮像素子１０において、制御部１５からの露光量信号及び各種制御信号に基づき、露光量Ｌ１〜Ｌ３（露光時間Ｔ１〜Ｔ３）で被写体を撮像する処理が実行される。そして、撮像により得られた画像データＳ１〜Ｓ３を、メモリ１１〜１３に順次出力して、ステップＳ１０６に移行する。
ステップＳ１０６では、画像合成部１４において、メモリ１１〜１３から順次出力される画像データＳ１〜Ｓ３と、制御部１５からの露光比情報（Ｔ１：Ｔ２：Ｔ３）とに基づき、ＨＤＲ合成処理を実行して、ステップＳ１０８に移行する。

ステップＳ１０８では、制御部１５において、撮像素子１０において撮像処理が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでない場合(No)は、ステップＳ１１０に移行する。
ステップＳ１１０に移行した場合は、制御部１５において、画像合成部１４のフレームメモリ１４ｂからＨＤＲ合成処理によって生成されたＨＤＲ画像データを取得し、取得したＨＤＲ画像データから平均輝度値Ｌａｖを算出して、ステップＳ１１２に移行する。

ステップＳ１１２では、制御部１５において、ステップＳ１１０で算出した平均輝度値Ｌａｖと、予め設定された平均輝度値の高輝度側の閾値Ｌｔｈとを比較し、ＬａｖがＬｔｈよりも大きいか否かを判定する。そして、ＬａｖがＬｔｈよりも大きいと判定した場合(Yes)は、ステップＳ１１４に移行し、そうでない場合(No)は、ステップＳ１１８に移行する。
ステップＳ１１４に移行した場合は、制御部１５において、最短露光時間Ｔｍｉｎを、予め設定された時間だけ減少して、ステップＳ１１６に移行する。つまり、撮像環境が比較的明るい状態であるので、白飛びしない画像を得るために最短露光時間Ｔｍｉｎを減少する調整を行う。なお、減少する時間は、平均輝度に応じてその都度適切な値を算出するようにしてもよいし、平均輝度の大きさに対応する値をテーブルとして予め用意するようにしてもよい。

ステップＳ１１６では、制御部１５において、ステップＳ１１４で減少したＴｍｉｎと、初期設定時のＴｍａｘとを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｄと、減少後のＴｍｉｎ及び初期設定時のＴｍａｘとに基づき露光比情報を生成する。つまり、露光比情報として「Ｔ１：Ｔ２：Ｔ３＝Ｔｍｉｎ（減）：Ｔｍｉｄ（再）：Ｔｍａｘ（初）」を生成する。なお、各露光時間の後ろに付した、（減）は減少調整後の、（再）は再計算後の、（初）は初期設定時の各露光時間であることを示す。更に、制御部１５は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、ステップＳ１０４に移行する。

一方、ステップＳ１１２において、ＬａｖがＬｔｈ以下であってステップＳ１１８に移行した場合は、制御部１５において、ステップＳ１１０で算出した平均輝度値Ｌａｖと、予め設定された平均輝度値の低輝度側の閾値Ｌｔｌとを比較する。更に、この比較結果に基づき、ＬａｖがＬｔｌよりも小さいか否かを判定する。そして、ＬａｖがＬｔｌよりも小さいと判定した場合(Yes)は、ステップＳ１２０に移行し、そうでない場合(No)は、ステップＳ１２４に移行する。

ステップＳ１２０に移行した場合は、制御部１５において、最長露光時間Ｔｍａｘを、予め設定された時間だけ増加して、ステップＳ１２２に移行する。つまり、撮像環境が比較的暗い状態であるので、黒つぶれしない画像を得るために最長露光時間Ｔｍａｘを増加する調整を行う。なお、増加する時間は、平均輝度に応じてその都度適切な値を算出するようにしてもよいし、平均輝度の大きさに対応する値をテーブルとして予め用意するようにしてもよい。

ステップＳ１２２では、制御部１５において、ステップＳ１２０で増加したＴｍａｘと初期設定時のＴｍｉｎとを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、初期設定時のＴｍｉｎ及び増加後のＴｍａｘとに基づき露光比情報を生成する。ここで、露光比情報は、「Ｔ１：Ｔ２：Ｔ３＝Ｔｍｉｎ（初）：Ｔｍｉｄ（再）：Ｔｍａｘ（増）」となる。なお、露光時間Ｔｍａｘの後ろに付した（増）は増加調整後の露光時間であることを示す。更に、制御部１５は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、ステップＳ１０４に移行する。

また、ステップＳ１１８において、ＬａｖがＬｔｌ以上であってステップＳ１２４に移行した場合は、制御部１５において、最短露光時間Ｔｍｉｎと最長露光時間Ｔｍａｘとして通常露光時間を設定して、ステップＳ１２６に移行する。本実施形態では、通常露光時間として、初期設定時の露光時間を設定する。
ステップＳ１２６では、制御部１５において、ステップＳ１２４で設定されたＴｍｉｎ及びＴｍａｘを用いて、中間露光時間Ｔｍｉｄを再計算し、再計算したＴｍｉｄと、初期設定時のＴｍｉｎ及び増加後のＴｍａｘとに基づき露光比情報を生成する。ここで、露光比情報は、「Ｔ１：Ｔ２：Ｔ３＝Ｔｍｉｎ（初）：Ｔｍｉｄ（再）：Ｔｍａｘ（初）」となる。更に、制御部１５は、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号と各種制御信号とを撮像素子１０に送信して、ステップＳ１０４に移行する。

次に、図７に基づき、ステップＳ１０６におけるＨＤＲ合成処理の流れを説明する。ここで、図７は、画像合成部１４におけるＨＤＲ合成処理を示すフローチャートである。
ステップＳ１０６において、ＨＤＲ合成処理が開始されると、図７に示すように、まず、ステップＳ２００に移行する。
ステップＳ２００では、ＨＤＲ信号処理部１４ａにおいて、撮像処理が開始されたか否かを判定する。そして、開始されたと判定した場合(Yes)は、各種制御信号を撮像素子１０に送信して、ステップＳ２０２に移行し、そうでない場合(No)は、撮像処理が開始されるまで判定処理を繰り返す。

ステップＳ２０２に移行した場合は、ＨＤＲ信号処理部１４ａにおいて、メモリ１１〜１３から画素データＳ１〜Ｓ３を１ライン分取得して、ステップＳ２０４に移行する。
具体的に、ＨＤＲ信号処理部１４ａは、メモリ１１〜１３に、同じ画素位置の１ライン分の画素データＳ１〜Ｓ３が格納されたタイミングで、該Ｓ１〜Ｓ３を取得する。
なお、本実施形態においては、画素データＳ１〜Ｓ３は、輝度の情報（輝度値）と、画素の位置情報（行及び列の位置情報）とを含むデータであることとする。また、画素データＳ１〜Ｓ３が位置情報を持たず、ＨＤＲ信号処理部１４ａにおいて、水平同期信号及びピクセルクロックをカウントすることで、画素の位置情報を生成する構成としても良い。

また、ＨＤＲ信号処理部１４ａは、プリプロセス部において、取得した画素データＳ１〜Ｓ３に対して、固定パターンノイズの除去処理、及びクランプ処理を施す。
ステップＳ２０４では、ＨＤＲ信号処理部１４ａにおいて、画素データＳ３の輝度値と、予め設定された飽和判定用の輝度値とを比較する。そして、この比較結果から、Ｓ３が飽和しているか否かを判定し、飽和していると判定した場合(Yes)は、ステップＳ２０６に移行し、そうでない場合(No)は、ステップＳ２１２に移行する。

ステップＳ２０６に移行した場合は、ＨＤＲ信号処理部１４ａにおいて、画素データＳ２の輝度値と、飽和判定用の輝度値とを比較する。そして、この比較結果から、Ｓ２が飽和しているか否かを判定し、飽和していると判定した場合(Yes)は、ステップＳ２０８に移行し、そうでない場合(No)は、ステップＳ２１０に移行する。
ステップＳ２０８に移行した場合は、ＨＤＲ信号処理部１４ａにおいて、画素データＳ１（輝度値）に係数「Ｔ３／Ｔ１」を乗算して、ＨＤＲ画素データの画素値ＨＤＲを算出して、ステップＳ２１４に移行する。

一方、ステップＳ２１０に移行した場合は、ＨＤＲ信号処理部１４ａにおいて、画素データＳ２（輝度値）に係数「Ｔ３／Ｔ２」を乗算して、ＨＤＲ画素データの画素値ＨＤＲを算出して、ステップＳ２１４に移行する。
また、ステップＳ２０４において、Ｓ３が飽和しておらずにステップＳ２１２に移行した場合は、ＨＤＲ信号処理部１４ａにおいて、画素データＳ３を、ＨＤＲ画素データの画素値ＨＤＲとして選択して、ステップＳ２１４に移行する。

ステップＳ２１４では、ＨＤＲ信号処理部１４ａにおいて、メモリＩＦ部を介して、ＨＤＲ画素データをフレームメモリ１４ｂに格納して、ステップＳ２１６に移行する。
ステップＳ２１６では、ＨＤＲ信号処理部１４ａにおいて、１ライン分の画素データについて、ＨＤＲ合成処理が全て終了したか否かを判定し、終了したと判定した場合(Yes)は、ステップＳ２１８に移行し、そうでない場合(No)は、ステップＳ２２２に移行する。

ステップＳ２１８に移行した場合は、ＨＤＲ信号処理部１４ａにおいて、１フレーム分の画素データについて、ＨＤＲ合成処理が全て終了したか否かを判定する。そして、終了したと判定した場合(Yes)は、ステップＳ２２０に移行し、そうでない場合(No)は、ステップＳ２０２に移行する。
ステップＳ２２０に移行した場合は、ＨＤＲ信号処理部１４ａにおいて、撮像が終了したか否かを判定し、終了したと判定した場合(Yes)は、一連の処理を終了し、そうでない場合(No)は、ステップＳ２０２に移行する。
また、ステップＳ２１６において、１ライン分のＨＤＲ合成処理が終了しておらずに、ステップＳ２２２に移行した場合は、ＨＤＲ合成処理が未処理の次の画素データＳ１〜Ｓ３を選択して、ステップＳ２０４に移行する。

次に、図８〜図９に基づき、本実施形態の動作を説明する。
ここで、図８（ａ）〜（ｃ）は、比率が均等となるように決定された露光時間Ｔ１〜Ｔ３における入射光に対する応答信号Ｓ１〜Ｓ３を示す図であり、（ｄ）〜（ｆ）は、（ａ）〜（ｃ）の応答信号に対して係数を乗算した場合の図である。また、図８（ｇ）は、図８（ｄ）〜（ｆ）の応答信号を合成した図である。また、図９は、図８（ａ）〜（ｃ）における入射光の軸を対数で表した場合の図である。

電源が投入されると、撮像装置１は、撮像処理が開始される前に、まず、制御部１５において、露光比情報及び露光量信号を生成し、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する。
具体的に、まず、操作部１７を介したユーザからの指示によって、露光時間Ｔ１及びＴ３の初期値が設定される（ステップＳ１００）。ここでは、初期値として、「Ｔ１＝２Ｈ、Ｔ３＝５００Ｈ」が設定されたとする。

制御部１５は、次に、上式（２）に従って、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２」の関係となる中間露光時間Ｔ２を算出する（ステップＳ１０２）。具体的に、「Ｔ１＝２Ｈ、Ｔ３＝５００Ｈ」が設定されているので、制御部１５において、「Ｔ２＝２×（５００／２）^1/2≒２×１５．８＝３１．６」が自動的に算出される。ここでは、四捨五入してＴ２を「３２」に設定する。これにより、「Ｔ２／Ｔ１＝３２／２＝１６」、「Ｔ３／Ｔ２＝５００／３２≒１５．６」となり、比率が略均等になる露光比情報「「Ｔ１：Ｔ２：Ｔ３＝２：３２：５００」を得ることができる。

更に、制御部１５は、露光比情報「Ｔ１：Ｔ２：Ｔ３＝２：３２：５００」の情報を含む露光量信号を生成し、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する。
これにより、撮像素子１０のＨＤＲセンサ１４ｄのレジスタに、露光時間比「Ｔ１：Ｔ２：Ｔ３＝２：３２：５００」の情報が書き込まれる。
引き続き、撮像素子１０において、被写体の撮像が開始されると、被写体から反射された光は、レンズ１０ａで集光されてマイクロレンズ１０ｂに入射される。レンズ１０ａからの入射光は、マイクロレンズ１０ｂにおいて平行化されて、カラーフィルタアレイ１０ｃを介してセンサセルアレイの各画素に入射される。

一方、撮像が開始されると（ステップＳ１０４）、ＨＤＲセンサ１０ｄにおいて、開始ラインから順に１ラインずつリセットラインＲが設定されて、各画素の蓄積電荷がリセットされる。引き続き、各走査ラインに対して、各画素のリセット後において露光時間Ｔ１の経過タイミングで非破壊読み出しラインＬ１が設定され、図８（ａ）に示すような光応答の画素信号Ｓ１が読み出される。引き続き、各走査ラインに対して、各画素のリセット後において露光時間Ｔ２の経過タイミングで非破壊読み出しラインＬ２が設定され、図８（ｂ）に示すような光応答の画素信号Ｓ２が読み出される。引き続き、開始ラインから順に読み出し＆リセットラインＬ３＆Ｒが設定されて、走査されたラインの各画素から図８（ｃ）に示すような光応答の画素信号Ｓ３が読み出され、その後、各画素の蓄積電荷がリセットされる。

上記のようにして、比率が略均等となる露光時間Ｔ１、Ｔ２、Ｔ３で撮像して得られる画素信号Ｓ１〜Ｓ３は、図９に示すように、入射光を対数で表したグラフにおいて略均等な間隔で並ぶ。
以降、撮像が行われている間は、上記の手順でＬ１〜Ｌ３＆Ｒの設定、画素信号Ｓ１〜Ｓ３の読み出し及びリセット処理が繰り返し行われる。
このようにして読み出された画素信号Ｓ１〜Ｓ３は、ライン毎に、第１ラインメモリ〜第３ラインメモリにそれぞれ格納されライン単位で選択回路へと出力される。選択回路からは、Ｓ１〜Ｓ３の順でアナログの画素データＳ１〜Ｓ３がＡＤＣに出力される。ＡＤＣは、アナログの画素データＳ１〜Ｓ３を、デジタルの画素データＳ１〜Ｓ３に変換する。そして、ＡＤＣからは、ライン単位で且つ画素データＳ１〜Ｓ３の順で順次画素データが、メモリ１１〜１３へと出力される。

一方、ＨＤＲ信号処理部１４ａは、メモリ１１、１２、１３に１ライン分の画素データＳ１、Ｓ２、Ｓ３がそれぞれ格納されると、ＨＤＲ合成処理を開始する（ステップＳ１０６）。
ＨＤＲ合成処理が開始されると（ステップＳ２００の「Ｙｅｓ」の分岐）、ＨＤＲ信号処理部１４ａは、メモリ１１〜１３から、１ライン分の画素データＳ１〜Ｓ３を取得する（ステップＳ２０２）。そして、プリプロセス部において、取得した画素データＳ１〜Ｓ３に対して、固定パターンノイズの除去処理、及びクランプ処理を施す。

次に、ＨＤＲ信号処理部１４ａは、判定処理が未処理の同一画素位置の画素データＳ１〜Ｓ３を選択し、まず、選択したＳ３と、飽和判定用の輝度値Ｓｓａｔ（例えば、Ｓｓａｔ＝２５０）とを比較する。ここで、選択した画素データＳ１〜Ｓ３の輝度値は、「Ｓ１＝６２、Ｓ２＝２２４、Ｓ３＝２５５」であるとする。この場合は、「Ｓ３（２５５）＞Ｓｓａｔ（２５０）」となるので、Ｓ３は飽和していると判定される（ステップＳ２０４の「Ｙｅｓ」の分岐）。Ｓ３が飽和しているので、ＨＤＲ信号処理部１４ａは、次に、Ｓ２とＳｓａｔとを比較する。「Ｓ２（２２４）＜Ｓｓａｔ（２５０）」となるので、Ｓ２は飽和していないと判定する（ステップＳ２０６の「Ｎｏ」の分岐）。Ｓ２が飽和していないので、ＨＤＲ信号処理部１４ａは、次に、Ｓ２を用いて、選択した画素位置のＨＤＲ画素データの値（ＨＤＲ）を算出する。具体的に、図８（ｅ）に示すように、撮像時の露光時間Ｔ３とＴ２とから係数「Ｔ３／Ｔ２」を求め、Ｓ２にこの係数を乗算することでＨＤＲを算出する（ステップＳ２１０）。つまり、「ＨＤＲ＝２２４（Ｓ２）×５００Ｈ（Ｔ３）／３２Ｈ（Ｔ２）＝３５００」となる。
ＨＤＲ信号処理部１４ａは、算出したＨＤＲ画素データの値（ＨＤＲ）を、メモリＩＦを介して、フレームメモリ１４ｂの各画素位置に対応するアドレスのメモリ領域に格納する（ステップＳ２１４）。

また、選択した画素データＳ１〜Ｓ３が、「Ｓ１＝６２、Ｓ２＝２５５、Ｓ３＝２５５」である場合は、「Ｓ３（２５５）＞Ｓｓａｔ（２５０）」となるので、Ｓ３は飽和していると判定される（ステップＳ２０４の「Ｙｅｓ」の分岐）。更に、「Ｓ２（２５５）＞Ｓｓａｔ（２５０）」となるので、Ｓ２も飽和している判定される（ステップＳ２０６の「Ｙｅｓ」の分岐）。Ｓ３もＳ２も飽和しているため、ＨＤＲ信号処理部１４ａは、次に、Ｓ１を用いて、選択した画素位置のＨＤＲ画素データの値（ＨＤＲ）を算出する。具体的に、図８（ｄ）に示すように、撮像時の露光時間Ｔ３とＴ１とから係数「Ｔ３／Ｔ１」を求め、Ｓ１にこの係数を乗算することでＨＤＲを算出する（ステップＳ２０８）。つまり、「ＨＤＲ＝６２（Ｓ１）×５００Ｈ（Ｔ３）／２Ｈ（Ｔ１）＝１５５００」となる。
ＨＤＲ信号処理部１４ａは、算出したＨＤＲ画素データＨＤＲを、メモリＩＦを介して、フレームメモリ１４ｂの各画素位置に対応するアドレスのメモリ領域に格納する（ステップＳ２１４）。

また、選択した画素データＳ１〜Ｓ３が、「Ｓ１＝６２、Ｓ２＝１２４、Ｓ３＝２２１」である場合は、「Ｓ３（２２１）＜Ｓｓａｔ（２５０）」となるので、Ｓ３は飽和していないと判定される（ステップＳ２０４の「Ｎｏ」の分岐）。この場合は、図８（ｆ）に示すように、ＨＤＲ信号処理部１４ａは、Ｓ３の値をＨＤＲとし、該ＨＤＲを、メモリＩＦを介して、フレームメモリ１４ｂの各画素位置に対応するアドレスのメモリ領域に格納する（ステップＳ２１４）。

上記のようにしてＨＤＲを算出することで、図８（ｇ）に示す光応答のＨＤＲ画素データを算出することができる。なお、図８（ｄ）〜（ｇ）に示す、波線部分は、疑似輪郭や偽色の発生原因となるノイズ部分である。上記のように隣接する各２つの露光時間の比率を均等にして撮像処理を行い、これによって得た画素信号Ｓ１〜Ｓ３を用いて上記の合成方法で合成することによって、ノイズ部分の信号が合成処理に用いられるのを低減することができる。

次に、ＨＤＲ信号処理部１４ａは、未処理の次の画素データＳ１〜Ｓ３を選択し（ステップＳ２１６の「Ｎｏ」の分岐、ステップＳ２２２）、上記同様の処理を行う。そして、１ライン分の画素データＳ１〜Ｓ３に対して処理が終了すると（ステップＳ２１６の「Ｙｅｓ」の分岐）、次のラインの画素データＳ１〜Ｓ３を取得して、上記同様の処理を行う。更に、１フレーム分の処理が全て終了すると、次に、撮像処理が終了したか否かを判定し、撮像処理が継続していれば（ステップＳ２２０の「Ｎｏ」の分岐）、次のフレームの画素データに対して、上記一連の処理（ステップＳ２０２〜ステップＳ２２２）を実行し、撮像処理が終了した場合は（ステップＳ２２０の「Ｙｅｓ」の分岐）、一連の処理を終了する。

一方、撮像処理によって、１ライン分又は１フレーム分のＨＤＲ画素データが生成され、且つ撮像処理が継続している場合に（ステップＳ１０８の「Ｎｏ」の分岐）、制御部１５は、１ライン分のＨＤＲ画素データ又は１フレーム分のＨＤＲ画素データを、フレームメモリ１４ｂから取得する。そして、取得した画素データに基づき、撮像環境の明るさに係る統計情報として、１ライン分又は１フレーム分の平均輝度Ｌａｖを算出する（ステップＳ１１０）。平均輝度Ｌａｖが算出されると、制御部１５は、Ｌａｖと、高輝度側の閾値Ｌｔｈとを比較し、ＬａｖがＬｔｈより大きいか否かを判定する。ここでは、高輝度側の閾値Ｌｔｈを「１９２」、低輝度側の閾値Ｌｔｌを「６４」とする。

例えば、平均輝度Ｌａｖが「６１」の場合は、Ｌａｖ（６１）はＬｔｈ（１９２）よりも小さいので（ステップＳ１１２の「Ｎｏ」の分岐）、制御部１５は、次に、ＬａｖとＬｔｌとを比較し、ＬａｖがＬｔｌよりも小さいか否かを判定する。ここでは、Ｌａｖ（６１）はＬｔｌ（６４）よりも小さいので（ステップＳ１１８の「Ｙｅｓ」の分岐）、制御部１５は、撮像環境が暗いと判断し、現在設定されている最長露光時間「Ｔｍａｘ（Ｔ３）＝５００Ｈ」を増加する調整を行う（ステップＳ１２０）。例えば、「Ｔ３＝１０００Ｈ」に増加したとする。これにより、略均等となっていた比率が崩れてしまうので、制御部１５は、「Ｔ１＝２Ｈ（初）、Ｔ３＝１０００Ｈ（増）」を、上式（２）に代入して、中間露光時間Ｔｍｉｄ（Ｔ２）を再計算する。これにより、「Ｔ２＝２×（１０００／２）^1/2≒４５」が算出される。そして、新たな露光比情報として、「Ｔ１：Ｔ２：Ｔ３＝２：４５：１０００」が生成され、この露光比情報に基づき、新たな露光情報信号が生成される。生成された露光比情報は画像合成部１４に出力され、生成された露光情報信号は、各制御信号と共に撮像素子１０に送信される。これにより、撮像素子１０では、撮像環境の明るさに適した新たな露光比情報に基づいて撮像処理が行われる。

また、算出した平均輝度Ｌａｖが「２２１」であった場合は、Ｌａｖ（２２１）はＬｔｈ（１９２）よりも大きいので（ステップＳ１１２の「Ｙｅｓ」の分岐）、制御部１５は、撮像環境が明るいと判断し、現在設定されている最短露光時間「Ｔｍｉｎ（Ｔ１）＝２Ｈ」を減少する調整を行う（ステップＳ１１４）。例えば、「Ｔ１＝１Ｈ」に減少したとする。これにより、略均等となっていた比率が崩れてしまうので、制御部１５は、「Ｔ１＝１Ｈ（減）、Ｔ３＝５００Ｈ（初）」を、上式（２）に代入して、中間露光時間Ｔｍｉｄ（Ｔ２）を再計算する。これにより、「Ｔ２＝１×（５００／１）^1/2≒２２」が算出される。そして、新たな露光比情報として、「Ｔ１：Ｔ２：Ｔ３＝１：２２：５００」が生成され、この露光比情報に基づき、新たな露光情報信号が生成される。生成された露光比情報は画像合成部１４に出力され、生成された露光情報信号は、各制御信号と共に撮像素子１０に送信される。これにより、撮像素子１０では、撮像環境の明るさに適した新たな露光比情報に基づいて撮像処理が行われる。

以上説明したように、本実施形態の撮像装置１は、撮像素子１０において、隣接する各２つの露光量の比率「Ｌ２／Ｌ１」及び「Ｌ３／Ｌ２」が均等「Ｌ２／Ｌ１＝Ｌ３／Ｌ２」となる露光量Ｌ１〜Ｌ３に対応する露光時間Ｔ１〜Ｔ３で被写体を撮像することができる。
これによって、ＨＤＲ合成処理で用いる画素データＳ１〜Ｓ３の露光量の比が常に一定となるため、暗部から明部に渡って、輝度が均等になり且つノイズの少ない合成画像を得ることができる。

更に、撮像環境の明るさに係る統計情報として、１ライン分又は１フレーム分のＨＤＲ画素データから平均輝度Ｌａｖを算出し、該Ｌａｖと高輝度側閾値Ｌｔｈ及び低輝度側閾値Ｌｔｌとを比較して、撮像環境の明るさの状態を判断することができる。
更に、撮像環境が明るいと判断された場合は、最短露光時間Ｔｍｉｎ（Ｔ１）を減少させる調整を行い、撮像環境が暗いと判断された場合は、最長露光時間Ｔｍａｘ（Ｔ３）を増加させる調整を行うことができる。

更に、調整後のＴ１及びＴ３並びに初期設定時のＴ１及びＴ３を用いて、上式（２）に従ってＴ２を再計算することで、露光時間の調整によって崩れた比率を均等に戻すことができる。
これによって、露光量比（露光時間比）を、撮像環境の明るさに適した露光量比に自動で調整することができる。
上記第１実施形態において、撮像素子１０及び制御部１５は、形態１又は２に記載の撮像手段に対応し、メモリ１１〜１３及び画像合成部１４は、形態１に記載の合成手段に対応する。
また、上記第１実施形態において、ステップＳ１００〜Ｓ１０４、Ｓ１１０〜Ｓ１２６は、形態８に記載の撮像ステップに対応し、ステップＳ１０６は、形態８に記載の合成ステップに対応する。

〔第２実施形態〕
次に、本発明の第２実施形態を図面に基づき説明する。図１０は、本発明に係る撮像装置、撮像方法及び電子機器の第２実施形態を示す図である。
本実施形態は、上記第１実施形態の撮像素子１０における制御部１５が、操作部１７を介したユーザからの選択指示に応じて、複数種類の露光比情報の決定方法（モード）のうちからいずれか１つを選択し、選択した決定モードで露光比を決定（露光比情報を生成）する点が異なる。更に、最短露光時間Ｔ１、中間露光時間Ｔ２及び最長露光時間Ｔ３が、全て自然数となるように算出後の露光時間の比を調整する点も異なる。

従って、制御部１５の処理内容が一部異なるのみで、他の構成部は、上記第１実施形態と同様となる。
以下、上記第１実施形態と異なる部分を詳細に説明し、同様の部分の説明を適宜省略する。
本実施形態の制御部１５は、複数種類の露光比情報の決定モードを有している。そして、操作部１７からの入力情報に基づきいずれか１つの決定モードを選択し、選択した決定モードで露光比情報を決定（生成）する機能を有している。本実施形態では、決定モードとして、レンジ優先モード、ノイズ低減モードのいずれか一方を選択することが可能となっている。

具体的に、レンジ優先モードは、ＨＤＲ合成により拡張できるダイナミックレンジを最大限に活かした露光比を決定するモードである。このモードが選択された場合は、レンジが最大となるＴ１及びＴ３が自動的に設定される。例えば、露光時間を１Ｈ〜１０００Ｈの範囲で設定できる場合に、ダイナミックレンジが「６０ｄＢ」であれば、Ｔ１＝１Ｈ、Ｔ３＝１０００Ｈが自動的に設定される。Ｔ１及びＴ３が設定されると、上記第１実施形態の式（２）を用いて、Ｔ２を算出し露光比「Ｔ１：Ｔ２：Ｔ３」を決定する。

また、ノイズ低減モードは、比率「Ｔ２／Ｔ１＝Ｔ３／Ｔ２」が入力された上限値の範囲に収まるように、露光比を決定するモードである。つまり、ダイナミックレンジの幅を犠牲にして境界領域に発生するノイズを抑制する。本実施形態では、このモードが選択された場合は、比率の上限値と最短露光時間Ｔ１及び最長露光時間Ｔ３の入力をユーザに促し、操作部１７を介して入力された上限値、Ｔ１及びＴ３に基づき、上式（２）を用いてＴ２を算出し露光比「Ｔ１：Ｔ２：Ｔ３」を決定する。

更に、本実施形態の制御部１５は、例えば、上式（２）によって算出した値が小数となるような場合に、その算出結果に基づき、露光比が全て自然数となるように調整を行う機能を有している。
例えば、ノイズ低減モードが選択され、比率上限値＝１６、Ｔ１＝１、Ｔ３＝２５０が入力されたとする。この場合に、上式（２）を適用すると、Ｔ２＝１×（２５０／１）^1/2≒１５．８となり、Ｔ２が小数となってしまう。このような場合に、例えば、Ｔ２／Ｔ１＝Ｔ３／Ｔ２＝１６（比率上限値）となるように、Ｔ１〜Ｔ３の値を調整する。例えば、Ｔ１＝１、Ｔ２＝１６、Ｔ３＝２５６に調整する。これにより、露光比が全て自然数且つこの場合は２の累乗で表せる数となる。

次に、図１０に基づき、制御部１５における露光比情報の生成処理の流れを説明する。ここで、図１０は、制御部１５における露光比情報生成処理を示すフローチャートである。
制御部１５において、露光比情報生成処理が開始されると、図１０に示すように、まず、ステップＳ３００に移行する。
ステップＳ３００では、制御部１５において、操作部１７を介したユーザの選択指示の入力に応じて、レンジ優先モードが選択されたか否かを判定する。そして、選択されたと判定した場合(Yes)は、ステップＳ３０２に移行し、そうでない場合(No)は、ステップＳ３０８に移行する。

ステップＳ３０２に移行した場合は、制御部１５において、最大レンジに応じて、最短露光時間Ｔｍｉｎ及び最長露光時間Ｔｍａｘを設定して、ステップＳ３０４に移行する。
ステップＳ３０４では、制御部１５において、ステップＳ３０２で設定されたＴｍｉｎ及びＴｍａｘと、上式（２）とに基づき、中間露光時間Ｔｍｉｄを算出して、ステップＳ３０６に移行する。
ステップＳ３０６では、制御部１５において、ステップＳ３０４の算出結果が小数になったか否かを判定し、小数になったと判定した場合(Yes)は、ステップＳ３０８に移行し、そうでない場合(No)は、ステップＳ３１０に移行する。
ステップＳ３０８に移行した場合は、制御部１５において、ステップＳ３０４の算出結果に基づき、露光比が全て自然数となるように調整を行い、ステップＳ３１０に移行する。

また、ステップＳ３１０に移行した場合は、制御部１５において、ステップＳ３０２で設定されたＴｍｉｎ及びＴｍａｘ及びステップＳ３０４で算出したＴｍｉｄ、又はステップＳ３０８で調整後のＴｍｉｎ、Ｔｍｉｄ及びＴｍａｘに基づき、露光比情報を生成する。更に、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信して、ステップＳ３００に移行する。

一方、ステップＳ３００において、レンジ優先モードが選択されずにステップＳ３１２に移行した場合は、制御部１５において、ノイズ低減モードが選択されたか否かを判定する。そして、選択されたと判定した場合(Yes)は、比率上限値の入力を促すメッセージ等を不図示の液晶画面に表示して、ステップＳ３１４に移行し、そうでない場合(No)は、ステップＳ３００に移行する。

ステップＳ３１４に移行した場合は、制御部１５において、操作部１７を介して、比率上限値が入力されたか否かを判定する。そして、入力されたと判定した場合(Yes)は、Ｔｍｉｎ及びＴｍａｘの入力を促すメッセージ等を不図示の液晶画面に表示して、ステップＳ３１６に移行し、そうでない場合(No)は、入力されるまで判定処理を繰り返す。
ステップＳ３１６に移行した場合は、制御部１５において、ステップＳ３１４で入力された比率上限値と、ＨＤＲ合成により拡張可能なダイナミックレンジとに基づき、Ｔｍｉｎ及びＴｍａｘを設定して、ステップＳ３１８に移行する。

ステップＳ３１８では、制御部１５において、ステップＳ３１６で設定されたＴｍｉｎ及びＴｍａｘと、上式（２）とに基づき、中間露光時間Ｔｍｉｄを算出して、ステップＳ３２０に移行する。
ステップＳ３２０では、制御部１５において、ステップＳ３１８の算出結果が小数になったか否かを判定し、小数になったと判定した場合(Yes)は、ステップＳ３２２に移行し、そうでない場合(No)は、ステップＳ３２４に移行する。
ステップＳ３２２に移行した場合は、制御部１５において、ステップＳ３１４の算出結果に基づき、露光比が全て自然数となるように調整を行い、ステップＳ３２４に移行する。

また、ステップＳ３２４に移行した場合は、制御部１５において、ステップＳ３１６で入力されたＴｍｉｎ及びＴｍａｘ及びステップＳ３１４で算出したＴｍｉｄ、又はステップＳ３２２で調整後のＴｍｉｎ、Ｔｍｉｄ及びＴｍａｘに基づき、露光比情報を生成する。更に、生成した露光比情報に基づき露光量信号を生成する。そして、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信して、ステップＳ３００に移行する。

次に、本実施形態の動作を説明する。
電源が投入され、操作部１７の操作に応じて初期設定モードに移行すると、撮像装置１は、決定モードの選択画面を不図示の液晶画面に表示する。ユーザは、画面案内に従って、操作部１７を操作して、決定モードを選択する。
これにより、レンジ優先モードが選択されると（ステップＳ３００の「Ｙｅｓ」の分岐）、制御部１５は、撮像素子１０から、そのダイナミックレンジの情報などを含む露光量の設定に係る情報を取得する。そして、取得した情報に基づき、最短露光時間Ｔｍｉｎと最長露光時間Ｔｍａｘとを設定する（ステップＳ３０２）。ここでは、ＨＤＲ合成により拡張可能なダイナミックレンジが６０[ｄＢ]であり、最短が１Ｈ、最長が１０００Ｈの露光時間が設定可能であるとする。

制御部１５は、レンジ優先モードが選択されたので、ダイナミックレンジの幅を優先して、最大のダイナミックレンジとなるＴｍｉｎ及びＴｍａｘを設定する。ここでは、Ｔｍｉｎ（Ｔ１）＝１Ｈ、Ｔｍａｘ（Ｔ３）＝１０００Ｈが設定されたとする。
Ｔ１及びＴ３が設定されると、制御部１５は、次に、上式（２）に従って、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２」の関係となる中間露光時間Ｔ２を算出する（ステップＳ３０４）。具体的に、「Ｔ１＝１Ｈ、Ｔ３＝１０００Ｈ」が設定されているので、制御部１５において、「Ｔ２＝１×（１０００／１）^1/2≒３１．６」が自動的に算出される。
ここで、「３１．６」は小数となるため（ステップＳ３０６の「Ｙｅｓ」の分岐）、制御部１５は、次に、露光比の調整を行う（ステップＳ３０８）。本実施形態では、露光比が２の累乗となるように優先して調整を行う。

しかし、今回の場合は、２の累乗を優先して「Ｔ２／Ｔ１＝Ｔ３／Ｔ２＝３２」としてしまうと、Ｔ３が１０２４Ｈと、最大値を超えるため、「Ｔ２／Ｔ１＝Ｔ３／Ｔ２＝３１」となるように、Ｔ２及びＴ３を調整する。これにより、露光比情報として、「Ｔ１：Ｔ２：Ｔ３＝１：３１：９６１」が決定（生成）される。
更に、制御部１５は、露光比情報「Ｔ１：Ｔ２：Ｔ３＝１：３１：９６１」を含む露光量信号を生成し、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する（ステップＳ３１０）。
これにより、撮像素子１０のＨＤＲセンサ１４ｄのレジスタに、露光時間比「Ｔ１：Ｔ２：Ｔ３＝１：３１：９６１」の情報が書き込まれる。

一方、決定モードの選択画面において、ノイズ低減モードが選択されると（ステップＳ３１２の「Ｙｅｓ」の分岐）、制御部１５は、不図示の液晶画面に、比率の上限値の入力を促す画面を表示する。この画面は、複数種類の上限値をユーザに選択させる画面でもよいし、ユーザが直接任意の値を入力する画面でもよい。そして、操作部１７を介して、比率上限値が入力されると（ステップＳ３１４の「Ｙｅｓ」の分岐）、次に、入力された比率上限値を保持した最短露光時間Ｔｍｉｎ及び最長露光時間Ｔｍａｘを設定する。ここでは、比率上限値＝１６が入力されたとする。

具体的に、制御部１５は、「Ｔ３／Ｔ１≦１６」を保持できるＴ１及びＴ３を設定する。ここでは、Ｔ１＝２Ｈ、Ｔ３＝５００Ｈが設定されたとする。
制御部１５は、次に、設定されたＴ１及びＴ３と、上式（２）に基づき、中間露光時間Ｔ２を算出する（ステップＳ３１８）。
制御部１５は、「Ｔ１＝２Ｈ、Ｔ３＝５００Ｈ」が設定されているので、上式（２）に代入して、「Ｔ２＝２×（５００／２）^1/2≒３１．６」を算出する。

ここで、「３１．６」は小数となるため（ステップＳ３２０の「Ｙｅｓ」の分岐）、制御部１５は、次に、露光比の調整を行う（ステップＳ３２２）。本実施形態では、露光比が２の累乗となるように優先して調整を行う。ここでは、２の累乗を優先にして、制御部１５は、Ｔ２＝３１．６Ｈを３２Ｈへと調整すると共に、Ｔ３＝５００Ｈを５１２Ｈへと調整する。これにより、露光比情報として、「Ｔ１：Ｔ２：Ｔ３＝２：３２：５１２」が決定（生成）される。結果として、ダイナミックレンジは４８[ｄＢ]となるが、センサセル自体の「Ｓ／Ｎ」が良くない場合などは、境界領域に発生するノイズを最大レンジにしたときよりも低減することができる。

更に、制御部１５は、露光比情報「Ｔ１：Ｔ２：Ｔ３＝２：３２：５１２」を含む露光量信号を生成し、生成した露光比情報を画像合成部１４に出力し、生成した露光量信号及び各種制御信号を撮像素子１０に送信する（ステップＳ３２４）。
これにより、撮像素子１０のＨＤＲセンサ１４ｄのレジスタに、露光時間比「Ｔ１：Ｔ２：Ｔ３＝２：３２：５１２」の情報が書き込まれる。
以降の、撮像処理の動作については、上記第１実施形態と同様となるので記載を省略する。

以上説明したように、本実施形態の撮像装置１は、露光比情報の決定方法として、レンジ優先モードと、ノイズ低減モードのいずれか一方を選択することができる。
そして、レンジ優先モードが選択された場合、制御部１５は、ダイナミックレンジが最大となるように、比率「Ｌ２／Ｌ１」及び「Ｌ３／Ｌ２」が均等となる露光量Ｌ１〜Ｌ３に対応する露光時間比を決定する。また、ノイズ低減モードが選択された場合は、入力された比率上限値を越えない状態で、比率「Ｌ２／Ｌ１」及び「Ｌ３／Ｌ２」が均等となる露光量Ｌ１〜Ｌ３に対応する露光時間比を決定する。
これによって、レンジ優先モードでは、より幅広い階調によって表現された画像を得ることができ、ノイズ低減モードでは、ノイズのより低減された画質の画像を得ることができる。

また、制御部１５は、中間露光時間Ｔ２の算出において、Ｔ２が小数となったときに、その算出結果に基づいて、露光時間比が全て自然数となるようにＴ１〜Ｔ３を調整することができる。このとき、露光時間比が優先して２の累乗になるように調整を行うことができる。
これにより、丸め誤差によるノイズの発生を抑えることができると共に、２の累乗とすることによって、乗算などをシフト演算によって行うことができるので、各処理部における回路構成を簡易にすることができる。
上記第２実施形態において、撮像素子１０及び制御部１５は、形態３に記載の撮像手段に対応し、メモリ１１〜１３及び画像合成部１４は、形態１に記載の合成手段に対応する。

また、上記第２実施形態において、操作部１７及び制御部１５による、露光比情報の決定方法（モード）を選択する機能は、形態３に記載の選択手段に対応する。
また、上記第２実施形態において、制御部１５における、選択した決定方法（レンジ優先モード又はノイズ低減モード）に基づき、露光比情報を決定する機能は、形態３に記載の露光量決定手段に対応する。

また、上記第２実施形態において、制御部１５における、露光比情報の決定方法を選択後に最短露光時間及び最長露光時間を設定する機能は、形態５に記載の露光量設定手段に対応する。
なお、上記各実施形態における、撮像装置１は、表示装置、メモリ装置等の不図示の他の装置と組み合わせて、デジタルカメラ、デジタルビデオカメラなどの電子機器を構成することが可能である。

また、上記各実施形態において、比率が均等となる３種類以上の露光量を、露光時間を制御することで実現する構成としたが、この構成に限らず、撮像素子１０の機能に応じて、例えば、アイリス（絞り）や、撮像感度などを制御して実現する構成としてもよい。
また、上記各実施形態において、いくつか例を挙げて、比率が均等になる３種類の露光量で撮像を行うための露光時間比を決定する方法を説明したが、上記実施形態で説明した方法に限らない。例えば、実際のセンサセルアレイ５６のＳ／Ｎを調べて、このＳ／Ｎに基づき合成時の画像の連結部分にノイズが発生しないように設定する方法などを用いてもよい。

また、上記第２実施形態において、露光比情報の決定方法として、レンジ優先モードと、ノイズ低減モードの２つを例に挙げて説明したが、決定方法はこれらに限らない。
例えば、ユーザに、任意のダイナミックレンジ及び任意のＴ１〜Ｔ３のいずれか１つを設定させて、この設定情報に基づき、上式（２）を用いて、残り２つの露光時間を決定する方法などを用いてもよい。具体的に、任意のレンジが設定され、任意のＴ１が設定された場合は残りのＴ２及びＴ３を決定し、任意のＴ２が設定された場合は残りのＴ１及びＴ３を決定し、任意のＴ３が設定された場合は残りのＴ１及びＴ２を決定する。

また、上記各実施形態において、上式（２）を用いて、中間露光時間Ｔ２を算出する構成としたが、この構成に限らない。例えば、予め上式（２）を用いて所定のＴ１及びＴ３に対するＴ２を算出してデータテーブル（ＬＵＴ）を生成し、この生成したＬＵＴを用いてＴ２を決定する構成としてもよい。
また、上記各実施形態において、撮像素子１０のＨＤＲセンサ１０ｄが、ＣＭＯＳ技術を用いて構成されたセンサセルアレイ５６を有する構成としたが、この構成に限らない。例えば、ＣＣＤから構成されるセンサセルアレイを有する構成など他の構成としてもよい。

また、上記各実施形態において、画像合成部１４におけるＨＤＲ信号処理部１４ａにおいて、図７のフローチャートに示す合成方法を用いる構成としたが、この構成に限らず、他の合成方法を用いる構成としてもよい。
また、上記各実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

１…撮像装置、１０…撮像素子、１０ａ…レンズ、１０ｂ…マイクロレンズ、１０ｃ…カラーフィルタアレイ、１０ｄ…ＨＤＲセンサ、１１〜１３…メモリ、１４…画像合成部、１４ａ…ＨＤＲ信号処理部、１４ｂ…フレームメモリ、１５…制御部、１６…画像解析部、１７…操作部、５０…基準タイミング発生器、５４…走査ラインスキャナ、５４ａ…リセット走査カウンタ、５４ｂ…リセット走査アドレスデコーダ、５４ｃ…読み出し走査カウンタ、５４ｄ…読み出し走査アドレスデコーダ、５６…センサセルアレイ、５８…水平転送部

Claims (9)

1. 昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量で被写体を撮像する撮像手段と、
   前記撮像手段で撮像して得られる前記３種類以上の露光量の各露光量に対応する画素信号を前記比率に基づき合成する合成手段と、を備えることを特徴とする撮像装置。
2. 前記３種類以上の露光量を、Ｌ１、Ｌ２、・・・、Ｌｎ（ｎは３以上の自然数且つＬ１＜Ｌ２＜・・・＜Ｌｎ）とし、
   前記撮像手段は、隣接する各２つの露光量の比率「Ｌ２／Ｌ１、・・・、Ｌｎ／Ｌ（ｎ−１）」が均等（Ｌ２／Ｌ１＝・・・＝Ｌｎ／Ｌ（ｎ−１））となる露光時間Ｔ１、Ｔ２、・・・、Ｔｎ（Ｔ１＜Ｔ２・・・＜Ｔｎ）で前記被写体を撮像することを特徴とする請求項１に記載の撮像装置。
3. 前記３種類以上の露光量を決定する複数種類の露光量の決定方法のうちから、いずれか１つの決定方法を選択する選択手段と、
   前記選択手段で選択された決定方法に基づき、前記３種類以上の露光量を決定する露光量決定手段と、を備え、
   前記撮像手段は、前記露光量決定手段で決定された３種類以上の露光量で被写体を撮像することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記決定方法は、前記３種類以上の露光量のうち最大露光量と最小露光量とを設定し、当該設定された最大露光量及び最小露光量に基づき前記隣接する各２つの露光量の比率が均等となる中間の露光量を算出して前記３種類以上の露光量を決定する方法を含むことを特徴とする請求項３に記載の撮像装置。
5. 前記３種類以上の露光量のうち最大露光量と最小露光量とを設定する露光量設定手段と、
   前記露光量設定手段で設定された最大露光量及び最小露光量に基づき前記隣接する各２つの露光量の比率が均等となる中間の露光量を算出して前記３種類以上の露光量を決定する露光量決定手段と、を備えることを特徴とする請求項１又は請求項２に記載の撮像装置。
6. ３種類の露光量Ｌ１、Ｌ２及びＬ３（Ｌ１＜Ｌ２＜Ｌ３）で被写体を撮像する場合に、
   前記露光量決定手段は、下式（１）に従って、前記中間の露光量である露光量Ｌ２を算出することを特徴とする請求項４又は請求項５に記載の撮像装置。
   Ｌ２＝Ｌ１×（Ｌ３／Ｌ１）^1/2 ・・・（１）
7. 撮像環境の明るさに係る情報に基づき、前記隣接する各２つの露光量の比率を均等に保ったまま、前記３種類以上の露光量が前記撮像環境の明るさに適した露光量となるように前記撮像手段の露光量に係る制御量を調整する露光量調整手段を備えることを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. 昇順又は降順で隣接する各２つの露光量の比率が均等となる３種類以上の露光量で被写体を撮像する撮像ステップと、
   前記撮像ステップで撮像して得られた前記３種類以上の露光量の各露光量に対応する画素信号を前記比率に基づき合成する合成ステップと、を含むことを特徴とする撮像方法。
9. 請求項１乃至請求項７のいずれか１項に記載の撮像装置を備える電子機器。

Images