JP5439197B2 - 撮像装置、撮像方法、および、撮像プログラム - Google Patents

Description

本発明は、露光量の異なる複数の画像を合成して、ダイナミックレンジの広い画像を生成する技術に関する。

従来、露光量の異なる複数の画像を連続して撮影して合成する第１のモードと、露光時間を一定にして撮影する第２のモードとを備えた撮像装置において、画像内の輝度差が大きい場合には、第１のモードに切り替える制御方法が知られている。この制御方法によれば、撮影者の特別な操作を必要とせずに、ダイナミックレンジの広い画像を撮影することが可能となる。

特開平１−６０１５６号公報

しかしながら、例えば、被写体輝度が低くなると、露光時間を長くする必要があるが、この場合、従来の技術では、複数の画像を合成してダイナミックレンジの広い画像を生成する場合に、全ての輝度範囲でダイナミックレンジの広い画像を滑らかに表示または記録することができない。

本発明は、上述した問題に鑑みてなされたものであり、被写体輝度または撮像フレームレートに応じて、ダイナミックレンジの広い画像を滑らかに表示または記録することを可能にする技術を提供することを目的とする。

本発明のある態様に係る撮像装置は、撮像素子で受光した光束を光電変換することによって画像データを得る撮像部と、被写体輝度が所定輝度以上、および、撮像フレームレートが所定のフレームレート以上のいずれか一方が少なくとも成立する場合であって、かつ、前記被写体輝度が前記所定輝度より高い上限輝度以下の場合に、画像のダイナミックレンジを拡大すると判断するダイナミックレンジ拡大判断部と、前記ダイナミックレンジを拡大するか否かの判断結果に基づいて、前記撮像素子の露光を制御する露光制御部と、前記ダイナミックレンジを拡大すると判断した場合に、露光時間の異なる複数フレームの画像データを合成して、合成画像データを生成する画像合成部と、前記合成画像データを表示または記録する処理部と、を備え、前記露光制御部は、前記被写体輝度が低くなるにしたがって、露光時間の長い長露光画像データの露光時間および露光時間の短い短露光画像データの露光時間を長くしていき、前記長露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間と一致すると、前記被写体輝度がさらに低くなっても、前記長露光画像データの露光時間を前記撮像フレームレートに応じて定まる所定露光時間で維持する。

本発明の別の態様に係る撮像方法は、撮像素子で受光した光束を光電変換することによって画像データを生成するステップと、被写体輝度が所定輝度以上、および、撮像フレームレートが所定のフレームレート以上のいずれか一方が少なくとも成立する場合であって、かつ、前記被写体輝度が前記所定輝度より高い上限輝度以下の場合に、画像のダイナミックレンジを拡大すると判断するステップと、前記ダイナミックレンジを拡大するか否かの判断結果に基づいて、前記撮像素子の露光を制御するステップと、前記ダイナミックレンジを拡大すると判断した場合に、露光時間の異なる複数フレームの画像データを合成して、合成画像データを生成するステップと、前記合成画像データを表示または記録するステップと、を備え、前記撮像素子の露光を制御するステップでは、前記被写体輝度が低くなるにしたがって、露光時間の長い長露光画像データの露光時間および露光時間の短い短露光画像データの露光時間を長くしていき、前記長露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間と一致すると、前記被写体輝度がさらに低くなっても、前記長露光画像データの露光時間を前記撮像フレームレートに応じて定まる所定露光時間で維持する。

本発明のさらに別の態様に係る撮像プログラムは、撮像素子で受光した光束を光電変換することによって画像データを生成するステップと、被写体輝度が所定輝度以上、および、撮像フレームレートが所定のフレームレート以上のいずれか一方が少なくとも成立する場合であって、かつ、前記被写体輝度が前記所定輝度より高い上限輝度以下の場合に、画像のダイナミックレンジを拡大すると判断するステップと、前記ダイナミックレンジを拡大するか否かの判断結果に基づいて、前記撮像素子の露光を制御するステップと、前記ダイナミックレンジを拡大すると判断した場合に、露光時間の異なる複数フレームの画像データを合成して、合成画像データを生成するステップと、前記合成画像データを表示または記録するステップと、をコンピュータに実行させるための撮像プログラムであって、前記撮像素子の露光を制御するステップでは、前記被写体輝度が低くなるにしたがって、露光時間の長い長露光画像データの露光時間および露光時間の短い短露光画像データの露光時間を長くしていき、前記長露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間と一致すると、前記被写体輝度がさらに低くなっても、前記長露光画像データの露光時間を前記撮像フレームレートに応じて定まる所定露光時間で維持する。

本発明によれば、動画の滑らかさを維持しつつ、ダイナミックレンジを拡大した画像を表示または記録することができる。

一実施形態に係る撮像装置であるデジタルカメラの構成を示すブロック図である。 合成処理回路の詳細な構成を示すブロック図である。 画像処理回路の詳細な構成を示すブロック図である。 一実施形態におけるデジタルカメラによって行われる処理内容を示すフローチャートである。 被写体輝度（ＬＶ）と、露光時間との関係を定めたプログラム線図である。 短時間露光により得られた画像データを合成する際の合成比Ｗ_Sと、長時間露光により得られた画像データとを合成する際の合成比Ｗ_Lとの関係の一例を示す図である。 被写体輝度がＬＶ８の場合のタイミングチャートを示す図である。 被写体輝度がＬＶ７の場合のタイミングチャートを示す図である。 被写体輝度がＬＶ６．５の場合のタイミングチャートを示す図である。 被写体輝度がＬＶ６の場合のタイミングチャートを示す図である。 被写体輝度がＬＶ５．５の場合のタイミングチャートを示す図である。 被写体輝度と合成画像のダイナミックレンジの拡大量との関係を示す図である。 動画撮影モードによる動画撮影時に、一実施形態におけるデジタルカメラによって行われる処理内容を示すフローチャートである。

図１は、一実施形態に係る撮像装置であるデジタルカメラの構成を示すブロック図である。このデジタルカメラは、撮像部１と、Ａ／Ｄ変換部２と、マイクロコンピュータ３（以下、マイコン３と呼ぶ）と、ＲＡＭ４と、ＲＯＭ５と、合成処理回路６と、画像処理回路７と、操作部８と、背面液晶モニタ９と、電子ビューファインダー１０（ＥＶＦ１０）と、メモリインターフェース１１（以下、Ｉ／Ｆ１１と呼ぶ）と、記録媒体１２と、バス１３とを備える。

撮像部１は、各画素を構成するフォトダイオードの前面に、複数のカラーフィルタが配置された単板式カラー撮像素子（以下、単に撮像素子と呼ぶ）、撮影光学系、および、これらの駆動部等から構成されている。カラーフィルタは、例えば、ベイヤー配列にて配列される。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。撮像素子は、図示しないレンズにより集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてＡ／Ｄ変換部２へ出力する。なお、撮像素子は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。また、カラーフィルタは、ベイヤー配列以外の配列で構成されていてもよいし、Ｒ，Ｇ、Ｂ以外の色で構成されていてもよい。

Ａ/Ｄ変換部２は、撮像部１から出力された電気信号をデジタル画像信号（以後、画像データという）に変換する。

マイコン３は、デジタルカメラの全体的な制御を行う制御部である。例えば、マイコン３は、撮像部１内部の撮影光学系の焦点制御や撮像素子の露出制御、画像データを記録媒体１２に記録する際の記録制御、画像データを背面液晶モニタ９およびＥＶＦ１０に表示する際の表示制御等を行う。

ＲＡＭ４は、Ａ／Ｄ変換部２において得られた画像データや、後述する合成処理回路６および画像処理回路７で処理された画像データ等の各種データが一時的に記憶される記憶部である。ＲＯＭ５には、デジタルカメラの動作に必要な各種パラメータや、複数の画像を合成する際の合成比を定めた合成比テーブル、および、マイコン３にて実行する各種プログラムが記憶されている。マイコン３は、ＲＯＭ５に記憶されているプログラムに従い、またＲＯＭ５から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

合成処理回路６は、複数の画像データを合成することによって、合成画像データを生成する。本実施形態では、合成処理回路６は、露光量の異なる２枚の画像データを合成することによって、ダイナミックレンジを拡大した合成画像を生成するものとして説明する。

図２は、合成処理回路６の詳細な構成を示すブロック図である。合成処理回路６は、位置ずれ量検出部２１と、合成部２２とを備える。

位置ずれ量検出部２１は、合成処理を行う２つの画像データ間の位置ずれ量を検出する。図２に示す例では、バス１３を経由して入力されたＡ／Ｄ変換部２によるＡＤ変換後の画像データであるＢａｙｅｒデータ１とＢａｙｅｒデータ２が合成処理を行う２つの画像データである。この２つの画像データ間の位置ずれ量は、既知の方法を用いて検出することができる。合成部２２は、位置ずれ量検出部２１で検出されたＢａｙｅｒデータ１とＢａｙｅｒデータ２との間の位置ずれ量に基づいて、２つの画像データ間の位置ずれ量を補正した後、２つの画像データを合成部２２で合成することにより、合成画像データを生成する。図２に示す例では、Ｂａｙｅｒデータ３が合成画像データである。合成画像データは、バス１３を経由してＲＡＭ４に送信されて記録される。

画像処理回路７は、ＲＡＭ４から読み出した画像データに対して様々な画像処理を施す。画像処理回路７で行う画像処理の詳細については後述する。画像処理回路７で画像処理が施された画像データは、Ｉ／Ｆ１１を介して、記録媒体１２に記録される。記録媒体１２は、例えばデジタルカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

操作部８は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部８の何れかの操作部材が操作されることにより、マイコン３は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイコン３は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイコン３は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイコン３は、撮影シーケンスを実行して撮影を行う。

バス１３は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１３は、撮像部１と、Ａ/Ｄ変換部２と、マイコン３と、ＲＡＭ４と、ＲＯＭ５と、合成処理回路６と、画像処理回路７と、操作部８と、背面液晶モニタ９と、ＥＶＦ１０と、Ｉ／Ｆ１１に接続されている。

図３は、画像処理回路７の詳細な構成を示すブロック図である。画像処理回路７は、ノイズ低減部（図では、ＮＲ部）３１と、ホワイトバランス補正部（図では、ＷＢ部）３２と、同時化処理部３３と、色変換部３４と、階調変換部３５と、ＹＣ変換部３６と、エッジ抽出部３７と、エッジ強調部３８と、加算部３９と、リサイズ部４０と、ＪＰＥＧ圧縮部４１と、ＪＰＥＧ伸長部４２とを備える。

ノイズ低減部３１は、ＲＡＭ４に記憶されている画像データに対して、ノイズを低減する処理を行う。ＲＡＭ４に記憶されている画像データとは、合成処理回路６による合成処理が行われた場合には、合成画像データからなるＢａｙｅｒデータであり、合成処理が行われない場合には、Ａ／Ｄ変換部２による変換後の画像データからなるＢａｙｅｒデータである。このノイズ低減処理は、例えば、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理である。ただし、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理のうちの少なくとも一方の処理を行うようにしてもよいし、他のノイズ低減処理を行うようにしてもよい。

ホワイトバランス補正部３２は、ノイズ低減後の画像データのホワイトバランスを補正する処理を行う。

同時化処理部３３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。同時化された画像データは、色変換部３４で所定の色変換処理が行われた後、階調変換部３５で階調変換処理が行われる。階調変換部３５は、画像の輝度分布に基づいて、処理対象の画像に適した階調変換処理を行う。

ＹＣ変換部３６は、階調変換処理後の画像データを、Ｙ（輝度）信号とＣ（色）信号とに変換する。変換されたＹ信号は加算部３９へ出力され、Ｃ信号はリサイズ部４０へ出力される。

エッジ抽出部３７は、ノイズ低減部３１でノイズ低減処理が行われた画像データから、エッジを抽出する処理を行う。エッジ強調部３８は、エッジ抽出部３７で抽出されたエッジのデータに所定のゲインを乗じるエッジ強調処理を行う。

加算部３９は、ＹＣ変換部３６から出力されるＹ信号に対して、エッジ強調部３８から入力されるエッジデータを加算する。

リサイズ部４０は、加算部３９から出力されるＹ信号およびＹＣ変換部３６から出力されるＣ信号を、記録または表示時の画像サイズに合わせてリサイズする。ＪＰＥＧ圧縮部４１は、リサイズされたＹ信号およびＣ信号に対してＪＰＥＧ圧縮を行う。ＪＰＥＧ圧縮後のデータは、バス１３を経由し、Ｉ／Ｆ１１を介して記録媒体１２に記録される。ＪＰＥＧ伸長部４２は、記録媒体１２に記録されているＪＰＥＧ圧縮データをバス１３を介して入力し、圧縮前の状態に戻す伸長処理を行う。

図４は、一実施形態におけるデジタルカメラによって行われる処理内容を示すフローチャートである。ユーザによって、デジタルカメラの電源ボタンが押されて、電源がＯＮになると、マイコン３は、ステップＳ１０の処理を開始する。

ステップＳ１０では、ファーストレリーズスイッチがオンされたか否かを判定する。ファーストレリーズスイッチがオンされていないと判定すると、ステップＳ２０に進む。ステップＳ２０以後の処理は、いわゆるライブビュー表示を行うための処理である。

ステップＳ２０では、既知のＡＥ処理を行う。

ステップＳ３０では、ステップＳ２０のＡＥ処理時に求められた被写体輝度に基づいて、画像のダイナミックレンジを拡大する処理を行うか否かを判定する。この判定方法を、図５を用いて説明する。

図５は、被写体輝度（ＬＶ）と、露光時間（秒）との関係を定めたプログラム線図である。なお、露光時間は、被写体輝度だけでなく、絞りおよびＩＳＯ感度の値も考慮して定まるものであるが、説明を容易にするため、ここでは、絞りおよびＩＳＯ感度は所定の値に固定したものとして説明する。ＲＯＭ５には、図５に示すような被写体輝度と露光時間との関係を定めたプログラム線図が記録されている。

なお、一般的に、カメラの説明書やパンフレット等では、実際の撮影における露光時間と異なる数値が表示されることがある。例えば、露光時間が１／１２５（秒）と表示されている場合、実際の露光時間は、撮像フレームレートの逆数である１／１２０（秒）となっている。露光時間が１／２５０（秒）と表示されている場合も、実際の露光時間は、撮像フレームレートの逆数である１／２４０（秒）となっている。すなわち、図５では、一般的な表示慣行に従った表示としているが、実際の撮影における露光時間は、撮像フレームレートの逆数の値である。

実線５１は、被写体輝度に応じた適切な標準露光時間を表している。点線５２は、標準露光時間よりも短い露光時間で撮影する際の露光時間を、点線５３は、標準露光時間よりも長い露光時間で撮影する際の露光時間をそれぞれ表している。後述するように、ここでは、被写体輝度がＬＶ６以上であって、上限被写体輝度のＬＶ１６以下の場合には、ダイナミックレンジを拡大する処理を行い、被写体輝度がＬＶ６より小さくなると、ダイナミックレンジを拡大する処理は行わない。

従って、図４のステップＳ３０では、被写体輝度がＬＶ６以上、かつ、ＬＶ１６以下であるか否かに基づいて、画像のダイナミックレンジを拡大する処理を行うか否かを判定する。ダイナミックレンジを拡大する処理を行うと判定するとステップＳ５０に進み、行わないと判定すると、ステップＳ１５０に進む。

なお、図５に示すように、絞りおよびＩＳＯ感度を所定の値に固定した場合、ライブビューを含む動画のフレームレートは、被写体輝度に応じて定まる。一般的には、被写体輝度が低くなると、絞りを開放し、ＩＳＯ感度を上限まで上げ、更に被写体輝度が低くなると、動画のフレームレートも低くなる。図５に示すように、被写体輝度がＬＶ６以上というのは、撮像フレームレートが６０ｆｐｓ以上に対応するので、図４のステップＳ３０において、撮像フレームレートが６０ｆｐｓ以上であって、かつ、被写体輝度がＬＶ１６以下の場合に、ダイナミックレンジを拡大すると判定してもよい。

ステップＳ５０では、被写体輝度に応じた標準露光時間よりも短い露光時間で撮影を行う。標準露光時間よりも短い露光時間は、ステップＳ２０のＡＥ処理時に求められた被写体輝度に基づいて、図５に示すプログラム線図を参照することにより求める。例えば、被写体輝度がＬＶ７の場合には、露光時間は１／２５０秒となる。

ステップＳ６０では、ステップＳ５０の撮影により得られた画像データを読み出す。

ステップＳ７０では、被写体輝度に応じた標準露光時間よりも長い露光時間で撮影を行う。標準露光時間よりも長い露光時間は、ステップＳ２０のＡＥ処理時に求められた被写体輝度に基づいて、図５に示すプログラム線図を参照することにより求める。例えば、被写体輝度がＬＶ７の場合には、露光時間は１／６０秒となる。

ステップＳ８０では、ステップＳ７０の撮影により得られた画像データを読み出す。

ステップＳ９０では、ステップＳ６０で読み出した画像データと、ステップＳ８０で読み出した画像データとの間の位置ずれ量を検出する。この処理は、合成処理回路６内部の位置ずれ量検出部２１によって行われる。

ステップＳ１００では、短時間露光により得られた画像データと、長時間露光により得られた画像データとを合成する際の合成比を算出する。

図６は、短時間露光により得られた画像データを合成する際の合成比Ｗ_Sと、長時間露光により得られた画像データとを合成する際の合成比Ｗ_Lとの関係の一例を示す図である。太い点線６１は、長時間露光により得られた画像データを合成する際の合成比Ｗ_Lであり、細い点線６２は、短時間露光により得られた画像データを合成する際の合成比Ｗ_Sを表している。図６において、Ｉ_maxは、画像データとして表現し得る最大画素値である。また、Ｒ_expは、標準露光時間よりも長い露光時間をＥｘｐ（Ｌ）、標準露光時間よりも短い露光時間をＥｘｐ（Ｓ）とすると、次式（１）で表される。

Ｒ_exp＝Ｅｘｐ（Ｓ）／Ｅｘｐ（Ｌ） （１）
図６に示すように、画素値がＩ_max×Ｒ_exp×０．５以下の場合には、合成比Ｗ_Lは１．０である。画素値がＩ_max×Ｒ_exp×０．５より大きくなると、合成比Ｗ_Lは１．０より小さくなっていき、画素値がＩ_max×Ｒ_exp以上になると、０となる。また、合成比Ｗ_Sは、画素値がＩ_max×Ｒ_exp×０．５以下の場合に０であり、画素値がＩ_max×Ｒ_exp×０．５より大きくなると大きくなっていき、画素値がＩ_max×Ｒ_exp以上になると、１．０となる。ＲＯＭ５には、図６に示すような画素値と合成比との関係を定めた合成比テーブルが格納されているので、各画素ごとに、合成比テーブルを参照することによって、短時間露光により得られた画像データを合成する際の合成比Ｗ_Sと、長時間露光により得られた画像データとを合成する際の合成比Ｗ_Lとを算出する。

ステップＳ１１０では、ステップＳ９０で検出された位置ずれ量に基づいて、ステップステップＳ６０で読み出した画像データと、ステップＳ８０で読み出した画像データとの間の位置ずれを補正し、位置ずれを補正した画像を、ステップＳ１００で算出した合成比で合成する処理を行う。短時間露光により得られた画像データの画素をＩ_s（ｘ，ｙ）、長時間露光により得られた画像データの画素をＩ_L（ｘ，ｙ）、２つの画像間のｘ座標方向の位置ずれ量をｄｘ、ｙ座標方向の位置ずれ量をｄｙとすると、合成により得られる画像の画素Ｉ_c（ｘ，ｙ）は、次式（２）で表される。ただし、Ｗ_S（Ｉ_s（ｘ，ｙ））は、画素Ｉ_s（ｘ，ｙ）に対応する合成比であり、Ｗ_L（Ｉ_L（ｘ＋ｄｘ，ｙ＋ｄｙ））は、位置ずれ補正後の画像データの画素Ｉ_L（ｘ＋ｄｘ，ｙ＋ｄｙ）の合成比である。

Ｉ_c（ｘ，ｙ）＝Ｉ_s（ｘ，ｙ）×Ｗ_S（Ｉ_s（ｘ，ｙ））＋Ｉ_L（ｘ＋ｄｘ，ｙ＋ｄｙ）×Ｗ_L（Ｉ_L（ｘ＋ｄｘ，ｙ＋ｄｙ））×Ｒ_exp （２）
式（２）によって、全ての画素の合成を行う。この後、次のステップＳ１２０の処理の前に、ノイズ低減部３１によるノイズ低減処理、ホワイトバランス補正部３２によるホワイトバランス補正処理、同時化処理部３３による同時化処理、色変換部３４による色変換処理、および、階調変換部３５による階調変換処理が行われる。

ステップＳ１２０およびステップＳ１３０の処理は、ＹＣ変換部３６によって行われる。ステップＳ１２０では、ＹＣ変換処理に必要なパラメータを設定する。ステップＳ１３０では、ステップＳ１２０で設定したパラメータを用いて、ＹＣ変換処理を行う。この後、エッジ強調部３８によるエッジ強調処理、および、リサイズ部４０によるリサイズ処理が行われる。

ステップＳ１４０では、リサイズ処理が行われた画像データを背面液晶モニタ９およびＥＶＦ１０に表示する処理を行う。

ステップＳ１５０では、被写体輝度に応じた標準露光時間で撮影を行う。被写体輝度に応じた標準露光時間は、図５に示すプログラム線図を参照することにより求める。

ステップＳ１６０では、ステップＳ１５０の撮影により得られた画像データを読み出す。この後、ノイズ低減部３１によるノイズ低減処理、ホワイトバランス補正部３２によるホワイトバランス補正処理、同時化処理部３３による同時化処理、色変換部３４による色変換処理、および、階調変換部３５による階調変換処理が行われる。

一方、ステップＳ１０において、ユーザによって、レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされたと判定するとステップＳ１７０に進む。ステップＳ１７０では、セカンドレリーズスイッチがオンされたか否かを判定する。ユーザによって、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたと判定するとステップＳ１８０に進み、セカンドレリーズスイッチがオンされていないと判定すると、ステップＳ４０に進む。

ステップＳ１８０以後の処理は、静止画撮影時の処理である。ステップＳ１８０からステップＳ２６０までの処理は、ステップＳ５０からステップＳ１３０までの処理と同じであるため、詳しい説明は省略する。

ステップＳ２７０では、ＪＰＥＧ圧縮部４１によって、ＹＣ変換処理によって生成されたＹ信号およびＣ信号に対してＪＰＥＧ圧縮を行う。ステップＳ２８０では、ＪＰＥＧ圧縮されたデータを、Ｉ／Ｆ１１を介して記録媒体１２に記録する。

ステップＳ２９０では、デジタルカメラの電源ボタンが再度押されて、電源がＯＦＦにされたか否かを判定する。電源がＯＦＦにされていないと判定すると、ステップＳ１０に戻り、電源がＯＦＦにされるまで、上述した処理を繰り返し行う。一方、電源がＯＦＦにされたと判定すると、フローチャートの処理を終了する。

続いて、被写体輝度別に、撮影から画像表示までのタイミングチャートについて説明する。

図７は、被写体輝度がＬＶ８の場合のタイミングチャートを示す図である。上述したように、ライブビューを含む動画のフレームレートは、被写体輝度に応じて定まる。図５に示すように、被写体輝度がＬＶ８の場合、動画のフレームレートは６０ｆｐｓである。すなわち、撮像間隔は、フレームレートの逆数である１／６０（秒）となる。

図５に示すプログラム線図を参照すると、被写体輝度がＬＶ８の場合、短露光の露光時間は１／５００（秒）、長露光の露光時間は１／１２５（秒）となる。図７に示すように、まず、短露光による撮影（Ｓ１）が行われ、続いて、撮影により得られた画像データが読み出される（Ｒ１）。続いて、短露光による撮影（Ｓ１）から１／６０（秒）後に、長露光による撮影（Ｌ２）が行われ、撮影により得られた画像データが読み出される（Ｒ２）。

読み出された２つの画像データは、合成処理回路６で合成処理（Ｃ１２）が行われた後、画像処理回路７で画像処理（ＩＰ１２）が行われ、背面液晶モニタ９およびＥＶＦ１０に表示（Ｄ１２）される。

また、長露光による撮影（Ｌ２）から１／６０（秒）後に、短露光による撮影（Ｓ３）が行われ、撮影により得られた画像データが読み出される（Ｒ３）。Ｒ２およびＲ３で読み出された画像データは、合成処理回路６で合成処理（Ｃ２３）が行われた後、画像処理回路７で画像処理（ＩＰ２３）が行われ、背面液晶モニタ９およびＥＶＦ１０に表示（Ｄ２３）される。

以後、同様の処理が繰り返し行われる。これにより、ダイナミックレンジが拡大された合成画像が背面液晶モニタ９およびＥＶＦ１０に表示される。

図８は、被写体輝度がＬＶ７の場合のタイミングチャートを示す図である。図５に示すように、被写体輝度がＬＶ７の場合も、動画のフレームレートは６０ｆｐｓである。すなわち、撮像間隔は、１／６０（秒）である。また、図５に示すプログラム線図を参照すると、短露光の露光時間は１／２５０（秒）、長露光の露光時間は１／６０（秒）となる。

この場合、長露光の露光時間と撮像間隔が同じとなるため、長露光による撮影が終了すると、すぐに短露光による撮影が開始されることになる。合成処理、画像処理、画像表示の処理タイミングについては、図７に示すタイミングチャートと同じである。

図９は、被写体輝度がＬＶ６．５の場合のタイミングチャートを示す図である。図５に示すように、被写体輝度がＬＶ６．５の場合も、動画のフレームレートは６０ｆｐｓである。すなわち、撮像間隔は、１／６０（秒）である。また、図５に示すプログラム線図を参照すると、短露光の露光時間は１／１２５（秒）、長露光の露光時間は１／６０（秒）となる。

標準露光時間は、被写体輝度が低くなるに従って長くなるので、長露光の露光時間も、被写体輝度が低くなるに従って長くなる。ただし、図５に示すように、被写体輝度がＬＶ７まで低下すると、撮像間隔と長露光の露光時間とが同じになる。従って、図５のプログラム線図に示すように、動画のフレームレートが６０ｆｐｓの条件下では、被写体輝度がＬＶ７より小さくなっても、長露光の露光時間を１／６０（秒）で維持し、それよりは長くしない。なお、合成処理、画像処理、画像表示の処理タイミングについては、図７および図８に示すタイミングチャートと同じである。

図１０は、被写体輝度がＬＶ６の場合のタイミングチャートを示す図である。被写体輝度がＬＶ６の場合も、動画のフレームレートは６０ｆｐｓとする。すなわち、撮像間隔は、１／６０（秒）となる。また、図５に示すプログラム線図を参照すると、短露光の露光時間は１／６０（秒）、長露光の露光時間は１／６０（秒）となる。

被写体輝度に応じた標準露光時間は、被写体輝度が低下するにしたがって長くなり、被写体輝度がＬＶ６まで低下すると、撮像フレームレートの逆数である露光時間１／６０（秒）となる。従って、長露光の露光時間は、被写体輝度がＬＶ７からＬＶ６までの間は、撮像フレームレートの逆数である露光時間１／６０(秒)で維持する。また、短露光の露光時間は、標準露光時間が撮像フレームレートの逆数である露光時間１／６０（秒）と一致する被写体輝度（ＬＶ６）において、１／６０(秒)となるようにしている。

この場合、短露光の露光時間と長露光の露光時間とは同じであるため、２つの画像を合成しても、ダイナミックレンジは拡大されない。

図１１は、被写体輝度がＬＶ５．５の場合のタイミングチャートを示す図である。上述したように、図５に示すプログラム線図では、被写体輝度がＬＶ６まで低下すると、短露光の露光時間と長露光の露光時間とが一致するように設定されている。従って、被写体輝度がＬＶ６より小さくなると、合成処理は行わずに、被写体輝度に応じた標準露光時間による撮影を行う。図５に示すように、動画のフレームレートは３０ｆｐｓとなり、撮像間隔は、１／３０（秒）となる。

この場合、まず、標準露光時間による撮影（Ｎ１）が行われ、撮影により得られた画像データが読み出される（Ｒ１）。読み出された画像データは、画像処理回路７で画像処理（ＩＰ１）が行われた後、背面液晶モニタ９およびＥＶＦ１０に表示（Ｄ１）される。以後、同様の処理が繰り返し行われる。

図１２は、被写体輝度（ＬＶ:Light Value）と合成画像のダイナミックレンジの拡大量（ＥＶ:Exposure Value）との関係を示す図である。

ここで、「ＬＶ」、「ＥＶ」は、露光量を簡易に計算するために対応させたアペックスシステムという方法を用いて表現したものである。また、合成画像のダイナミックレンジの拡大量とは、標準露光による撮影によって得られた画像のダイナミックレンジを基準とする拡大量である。

例えば、被写体輝度がＬＶ８の場合、図５に示すプログラム線図を参照すると、標準露光時間が１／２５０（秒）で、短露光時間は１／５００（秒）、長露光時間は１／１２５（秒）であるから、標準露光に対して、ダイナミックレンジがＥＶで２だけ拡大する。

図１２に示すように、一実施形態における撮像装置によって得られた合成画像では、標準露光による撮影によって得られた画像のダイナミックレンジに対して、最大でＥＶで３だけダイナミックレンジが拡大される。また、被写体輝度の変化に対して、ダイナミックレンジの拡大量が急激に変わることはなく、滑らかに変化する。

以上、一実施形態における撮像装置によれば、被写体輝度が所定輝度以上、および、撮像フレームレートが所定のフレームレート以上のいずれか一方が少なくとも成立する場合であって、かつ、被写体輝度が所定輝度より高い上限輝度以下の場合に、画像のダイナミックレンジを拡大すると判断する。そして、ダイナミックレンジを拡大するか否かの判断結果に基づいて、撮像素子の露光を制御するとともに、ダイナミックレンジを拡大すると判断した場合に、露光時間の異なる複数フレームの画像データを合成して、合成画像データを生成する。これにより、動画の滑らかさを維持しつつ、ダイナミックレンジを拡大した画像を表示または記録することができる。すなわち、被写体輝度が所定輝度未満、または、撮像フレームレートが所定のフレームレート未満の場合には、合成画像を生成しないので、動画のフレームレートを低下させることなく、滑らかな動画表示を行うことができる。また、被写体輝度が所定輝度以上、または、撮像フレームレートが所定のフレームレート以上であって、被写体輝度が上限輝度以下の場合には、露光時間の異なる複数フレームの画像データを合成することにより、ダイナミックレンジを拡大した画像を生成することができる。

また、被写体輝度が低くなるにしたがって、長露光画像データの露光時間および短露光画像データの露光時間を長くしていき、長露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間（撮像フレームレートの逆数）と一致すると、被写体輝度がさらに低くなっても、長露光画像データの露光時間を撮像フレームレートに応じて定まる所定露光時間で維持する。これにより、撮像フレームレートを低下させることなく、ダイナミックレンジを拡大した画像を生成することができる。また、被写体輝度の低下にしたがって、ダイナミックレンジが急激に変化するのを防いで、画像の画質が急激に変化するのを防ぐことができる。

さらに、被写体輝度が低くなるにしたがって、被写体輝度に応じた適正露光時間を長くしていき、被写体輝度に応じた適正露光時間が撮像フレームレートに応じて定まる所定露光時間（撮像フレームレートの逆数）と一致するまで、長露光画像データの露光時間を撮像フレームレートに応じて定まる所定露光時間で維持する。これにより、被写体輝度の低下にしたがって、ダイナミックレンジが急激に変化するのをより効果的に防いで、画像の画質が急激に変化するのを防ぐことができる。

また、被写体輝度が低くなるにしたがって、短露光画像データの露光時間を長くしていき、被写体輝度に応じた適正露光時間が撮像フレームレートに応じて定まる所定露光時間と一致する被写体輝度において、短露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間と一致するように制御する。これにより、被写体輝度の低下にしたがって、ダイナミックレンジが急激に変化するのをより効果的に防いで、画像の画質が急激に変化するのを防ぐことができる。

なお、上述した一実施形態の説明では、撮像装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータを用いて、別途ソフトウェアにて処理する構成も可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを撮像プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている撮像プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該撮像プログラムを実行するようにしても良い。

本発明は、上述した一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、図４に示すフローチャートでは、動画表示の一形態であるライブビュー表示の処理の流れを説明したが、動画撮影・記録時の処理の流れについてもほぼ同様である。

図１３は、動画撮影モードによる動画撮影時に、一実施形態におけるデジタルカメラによって行われる処理内容を示すフローチャートである。図４に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。ユーザによって、操作部８に含まれる動画撮影開始ボタンが押されると、ステップＳ２０の処理が開始される。ステップＳ２０からステップＳ１６０までの処理は、図４に示すフローチャートの処理と同じである。ステップＳ１４０で、画像データを背面液晶モニタ９およびＥＶＦ１０に表示する処理が行われると、ステップＳ１３００に進む。ステップＳ１３００では、ステップＳ１４０までの処理が行われた画像データを、Ｉ／Ｆ１１を介して、記録媒体１２に記録する。

１…撮像部
２…Ａ／Ｄ変換部
３…マイコン
４…ＲＡＭ
５…ＲＯＭ
６…合成処理回路
７…画像処理回路
９…背面液晶モニタ
１０…ＥＶＦ
１２…記録媒体
２１…位置ずれ量検出部
２２…合成部

Claims (7)

1. 撮像素子で受光した光束を光電変換することによって画像データを得る撮像部と、
   被写体輝度が所定輝度以上、および、撮像フレームレートが所定のフレームレート以上のいずれか一方が少なくとも成立する場合であって、かつ、前記被写体輝度が前記所定輝度より高い上限輝度以下の場合に、画像のダイナミックレンジを拡大すると判断するダイナミックレンジ拡大判断部と、
   前記ダイナミックレンジを拡大するか否かの判断結果に基づいて、前記撮像素子の露光を制御する露光制御部と、
   前記ダイナミックレンジを拡大すると判断した場合に、露光時間の異なる複数フレームの画像データを合成して、合成画像データを生成する画像合成部と、
   前記合成画像データを表示または記録する処理部と、
   を備え、
   前記露光制御部は、前記被写体輝度が低くなるにしたがって、露光時間の長い長露光画像データの露光時間および露光時間の短い短露光画像データの露光時間を長くしていき、前記長露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間と一致すると、前記被写体輝度がさらに低くなっても、前記長露光画像データの露光時間を前記撮像フレームレートに応じて定まる所定露光時間で維持することを特徴とする撮像装置。
2. 前記露光制御部は、前記被写体輝度が低くなるにしたがって、被写体輝度に応じた適正露光時間を長くしていき、前記適正露光時間が前記撮像フレームレートに応じて定まる所定露光時間と一致するまで、前記長露光画像データの露光時間を前記撮像フレームレートに応じて定まる所定露光時間で維持することを特徴とする請求項１に記載の撮像装置。
3. 前記露光制御部は、前記被写体輝度が低くなるにしたがって、前記短露光画像データの露光時間を長くしていき、前記適正露光時間が前記撮像フレームレートに応じて定まる所定露光時間と一致する被写体輝度において、前記短露光画像データの露光時間が前記撮像フレームレートに応じて定まる所定露光時間と一致するように制御することを特徴とする請求項２に記載の撮像装置。
4. 前記撮像フレームレートに応じて定まる所定露光時間は、前記撮像フレームレートの逆数となる時間であることを特徴とする請求項１から請求項３のいずれか一項に記載の撮像装置。
5. 前記露光時間の異なる複数フレームの画像データを合成する際の合成比を算出する合成比算出部をさらに備え、
   前記画像合成部は、前記合成比算出部で算出された合成比に基づいて、前記複数フレームの画像データを合成することを特徴とする請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 撮像素子で受光した光束を光電変換することによって画像データを生成するステップと、
   被写体輝度が所定輝度以上、および、撮像フレームレートが所定のフレームレート以上のいずれか一方が少なくとも成立する場合であって、かつ、前記被写体輝度が前記所定輝度より高い上限輝度以下の場合に、画像のダイナミックレンジを拡大すると判断するステップと、
   前記ダイナミックレンジを拡大するか否かの判断結果に基づいて、前記撮像素子の露光を制御するステップと、
   前記ダイナミックレンジを拡大すると判断した場合に、露光時間の異なる複数フレームの画像データを合成して、合成画像データを生成するステップと、
   前記合成画像データを表示または記録するステップと、
   を備え、
   前記撮像素子の露光を制御するステップでは、前記被写体輝度が低くなるにしたがって、露光時間の長い長露光画像データの露光時間および露光時間の短い短露光画像データの露光時間を長くしていき、前記長露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間と一致すると、前記被写体輝度がさらに低くなっても、前記長露光画像データの露光時間を前記撮像フレームレートに応じて定まる所定露光時間で維持することを特徴とする撮像方法。
7. 撮像素子で受光した光束を光電変換することによって画像データを生成するステップと、
   被写体輝度が所定輝度以上、および、撮像フレームレートが所定のフレームレート以上のいずれか一方が少なくとも成立する場合であって、かつ、前記被写体輝度が前記所定輝度より高い上限輝度以下の場合に、画像のダイナミックレンジを拡大すると判断するステップと、
   前記ダイナミックレンジを拡大するか否かの判断結果に基づいて、前記撮像素子の露光を制御するステップと、
   前記ダイナミックレンジを拡大すると判断した場合に、露光時間の異なる複数フレームの画像データを合成して、合成画像データを生成するステップと、
   前記合成画像データを表示または記録するステップと、
   をコンピュータに実行させるための撮像プログラムであって、
   前記撮像素子の露光を制御するステップでは、前記被写体輝度が低くなるにしたがって、露光時間の長い長露光画像データの露光時間および露光時間の短い短露光画像データの露光時間を長くしていき、前記長露光画像データの露光時間が撮像フレームレートに応じて定まる所定露光時間と一致すると、前記被写体輝度がさらに低くなっても、前記長露光画像データの露光時間を前記撮像フレームレートに応じて定まる所定露光時間で維持することを特徴とする撮像プログラム。

Images