JP2009284136A

JP2009284136A - 電子カメラ

Info

Publication number: JP2009284136A
Application number: JP2008132921A
Authority: JP
Inventors: Chikanori Sanhongi; 慎典三本木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-05-21
Filing date: 2008-05-21
Publication date: 2009-12-03

Abstract

【課題】
従来、ダイナミックレンジを拡大するために、同じ被写体を２回撮影する必要があり、通常の撮影の倍の時間が必要であった。
【解決手段】
被写体像を撮像して画像データを生成する撮像部と、撮像指示を行うレリーズボタンと、前記撮像部により撮像されるライブビュー画像に前記撮像部のダイナミックレンジを超える第１領域がある場合は、前記第１領域の位置を検出する位置検出部と、前記第１領域を撮像するのに適した第１露光量と、前記第１領域以外の第２領域を撮像するのに適した第２露光量とを求める露光量設定部と、前記レリーズボタン押下時に、前記第１露光量で第１画像を、前記第２露光量で第２画像をそれぞれ撮像し、少なくとも前記第２画像を前記撮像部から部分読み出しで読み出す制御部と、前記制御部が前記撮像部から読み出した前記第１画像と前記第２画像とを合成する画像処理部とを設けた。
【選択図】図１

Description

本発明は、電子カメラに関する。

従来、撮影時の構図決定や被写体の様子を見るために、撮影しようとする画像をモニタに動画表示する電子カメラが広く用いられている。一方、撮影画像のダイナミックレンジを拡大するために、同じ被写体に対して露光量の異なる２枚の画像を撮影し、撮影した２枚の画像を画像処理によって合成する方法が考えられている（例えば、特許文献１参照）。
特開平０８−２５６３０３号公報

ところが、従来の方法は、同じ被写体の撮影を２回行う必要があり、２倍の撮影時間が必要であった。特に、２枚の画像を合成する際に切り捨てられる画像領域に対しても色処理などの画像処理が行われるため、処理時間に無駄な部分が多かった。

本発明の目的は、撮影時間を短縮すると共に、撮影画像のダイナミックレンジの拡大を行うことができる電子カメラを提供することである。

本発明に係る電子カメラは、被写体像を撮影して画像データを生成する撮像部と、撮影指示を行うレリーズボタンと、前記撮像部により撮影されるライブビュー画像に前記撮像部のダイナミックレンジを超える第１領域がある場合は、前記第１領域の位置を検出する位置検出部と、前記第１領域を撮影するのに適した第１露光量と、前記第１領域以外の第２領域を撮影するのに適した第２露光量とを求める露光量設定部と、前記レリーズボタン押下時に、前記第１露光量で第１画像を、前記第２露光量で第２画像をそれぞれ撮影し、少なくとも前記第２画像を前記撮像部から部分読み出しで読み出す制御部と、前記制御部が前記撮像部から読み出した前記第１画像と前記第２画像とを合成する画像処理部とを有することを特徴とする。

特に、前記露光量設定部は、前記第１領域が前記ダイナミックレンジより高輝度である場合は、前記第１露光量を前記第２露光量より短時間露光とすることを特徴とする。

或いは、前記露光量設定部は、前記第１領域が前記ダイナミックレンジより低輝度である場合は、前記第１露光量を前記第２露光量より長時間露光とすることを特徴とする。

また、前記画像処理部は、前記第１画像に前記第２画像を合成する際に、前記第２画像の輝度レベルが基準値以下の領域を切り捨ててから前記第１画像に合成することを特徴とする。

特に、前記基準値は、前記第１露光量と前記第２露光量との差に応じて可変することを特徴とする。

本発明に係る電子カメラは、異なる露光条件で撮影した複数の画像を合成するので、撮影画像のダイナミックレンジを拡大することができる。特に、合成する画像のうち、少なくとも一方の画像を撮像部から部分的に読み出すので、撮影時間を短縮することができる。

（第１の実施形態）
第１の実施形態では、一眼レフ型の電子カメラ１０１の例について説明する。尚、電子カメラ１０１は、電子画像によって被写体の撮影構図を確認するライブビューモード（動画表示モード）を有している。

図１は、第１の実施形態に係る電子カメラ１０１の構成を示すブロック図である。電子カメラ１０１は、カメラ本体１０２と、レンズユニット１０３とを有している。レンズユニット１０３には、撮影光学系１０４や絞り（不図示）が収容されている。このレンズユニット１０３は、マウント（不図示）を介してカメラ本体１０２に交換可能に装着される。また、レンズユニット１０３は、ＣＰＵ１１５からの指令によって、絞りを可変したり、レンズユニット１０３のフォーカスレンズ（不図示）を合焦位置に移動する。

カメラ本体１０２は、ミラーボックスユニット１０５と、ＡＦセンサ１０６と、ＡＥセンサ１０７と、撮像素子１０８と、アナログ信号処理部１０９と、タイミングジェネレータ（ＴＧ）１１０と、デジタル信号処理部１１１と、画像処理部１１２と、メモリ１１３と、記録Ｉ／Ｆ１１４と、ＣＰＵ１１５と、モニタ駆動部１１６およびモニタ１１７と、操作部１１８と、バス１１９と、フラッシュ１２０と、シャッター１２１とを有している。また、カメラ本体１０２から取り外し可能なメモリカードなどの記憶媒体１２２は、記録Ｉ／Ｆ１１４に接続される。

ここで、デジタル信号処理部１１１、画像処理部１１２、メモリ１１３、記録Ｉ／Ｆ１１４、ＣＰＵ１１５およびモニタ駆動部１１６は、バス１１９を介してそれぞれ接続されている。また、レンズユニット１０３、ミラーボックスユニット１０５、ＡＦセンサ１０６、ＡＥセンサ１０７、ＴＧ１１０、操作部１１８、フラッシュ１２０およびシャッター１２１は、それぞれＣＰＵ１１５に接続されている。

ミラーボックスユニット１０５の内部には、軸を中心に回転動作ができるように配置されたメインミラー１０５ａが設けられている。ミラーボックスユニット１０５は、ＣＰＵ１１５の指示により、メインミラー１０５ａを駆動装置（不図示）で駆動させて観察状態と退避状態との切り替えを行う。観察状態におけるメインミラー１０５ａは、撮像素子１０８の前方に傾斜配置される。この観察状態では、撮影光学系１０４を通過した光束はメインミラー１０５ａによって反射され、上方に設置されたファインダ光学系（不図示）に導かれる。また、メインミラー１０５ａの中央部はハーフミラーとなっている。そして、観察状態のメインミラー１０５ａを透過した一部の光束は、サブミラーによってＡＦセンサ１０６に導かれる（図１ではサブミラーの図示は省略する）。

一方、退避状態でのメインミラー１０５ａは、上方に跳ね上げられて撮影光路から外れた位置にある。メインミラー１０５ａが退避状態にあるときは、撮影光学系１０４を通過した光束は撮像素子１０８に導かれる。尚、記録用画像（本画像）の撮影時や上記のライブビューモードでの動作時には、メインミラー１０５ａは退避状態の位置にある。また、ライブビューモードでは、常にシャッター１２１が開いた状態になる。

撮像素子１０８は、撮影光学系１０４を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。ここで、撮像素子１０８は操作部１１８に含まれるレリーズボタン押下時（全押し時）に本画像を撮影する。また、ライブビューモードにおいて、撮像素子１０８は、撮影待機時（レリーズボタン非押下時）にも所定間隔毎に間引き読み出しでライブビュー画像を出力する。このとき、メインミラー１０５ａは、ＣＰＵ１１５の制御により退避状態にあり、シャッター１２１も開いた状態になっている。尚、上記のライブビュー画像のデータは、モニタ駆動部１１６を介してモニタ１１７に表示される。

アナログ信号処理部１０９は、撮像素子１０８の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。実行されるアナログ処理は、例えば、ノイズ除去のための相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。アナログ信号処理部１０９の出力はデジタル信号処理部１１１に接続されている。

ＴＧ１１０は、ＣＰＵ１１５の指示に基づいて、撮像素子１０８およびアナログ信号処理部１０９に対してタイミングパルスを供給する。撮像素子１０８およびアナログ信号処理部１０９の駆動タイミングは、ＴＧ１１０のタイミングパルスによって制御される。

デジタル信号処理部１１１は、アナログ信号処理部１０９から順次入力されるデジタル画像信号に対して、欠陥画素補正や黒レベルのオフセット補正などの信号処理を施す。デジタル信号処理部１１１の出力は画像処理部１１２に接続されている。

画像処理部１１２は、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１１２は、ＣＰＵ１１５の指示によりライブビュー画像のデータからモニタ１１７の表示用画像を生成する。さらに、画像処理部１１２は、本撮影画像のデータをＪＰＥＧ形式で圧縮する処理や、圧縮された撮影画像データを伸長復元する処理も実行する。

また、画像処理部１１２は、ＣＰＵ１１５の指示により、メモリ１１３に一時的に保持されている画像データや新たに撮影された画像データとの合成処理を行う。合成された画像データは、撮影画像として記録Ｉ／Ｆ１１４を介して記憶媒体１２２に記録される。

メモリ１１３は、各種画像処理を行う過程でライブビュー画像や本撮影画像のデータなどを一時的に記録するバッファメモリとして機能する。

記録Ｉ／Ｆ１１４には、記憶媒体１２２を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１１４は、コネクタに接続された記憶媒体１２２に対してデータの書き込み／読み込みを実行する。尚、上記の記憶媒体１２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。

フラッシュ１２０は、ＣＰＵ１１５の指示に基づいて発光する補助光源である。

ＣＰＵ１１５は、電子カメラ１０１の統括的な制御を行うプロセッサである。ＣＰＵ１１５は予めＣＰＵ１１５の内部に記憶されたプログラムに従って電子カメラ１０１の各部動作を制御するとともに、撮影時に必要となる各種演算（ＡＦ時のデフォーカス量の演算、ＡＥ演算など）を実行する。また、ＣＰＵ１１５は、フラッシュ１２０の発光時間や発光タイミングを制御する。

モニタ駆動部１１６は、ＣＰＵ１１５の指示に基づいて駆動信号を出力することでモニタ１１７の表示を制御する。また、モニタ１１７は、例えば液晶モニタで構成されている。ここで、ライブビューモードでのモニタ１１７には、ライブビュー画像が動画表示される。また、モニタ１１７には、ＧＵＩ(Graphical User Interface)形式で各種の設定項目の入力が可能なメニュー画面を表示できる。ユーザーは、メニュー画面を見ながら操作部１１８に含まれる各種操作ボタンを用いて、電子カメラ１０１の動作設定を行う。

操作部１１８は、操作ボタンとレリーズボタンとを有している。操作部１１８の操作ボタンは、例えばコマンドダイヤル、十字状のカーソルキー、決定ボタンなどで構成される。上記の操作ボタンは、電子カメラのモード切替操作や、メニュー画面上での入力操作などをユーザーから受け付ける。また、操作部１１８のレリーズボタンは、半押し操作によるＡＦなどの指示入力と、全押し操作によるレリーズ指示（撮影指示）の入力とをユーザーから受け付ける。

ＡＦセンサ１０６は、撮影画面内のＡＦエリアでの合焦状態を位相差検出方式で検出する。尚、ライブビューモードでの動作時には、上記に説明したようにメインミラー１０５ａは退避状態の位置にあり、ＡＦセンサ１０６によるフォーカス制御を行うことができない。この場合は、撮像素子１０８から得られる画像データを基に、コントラスト方式で合焦状態を検出する。

ＡＥセンサ１０７は、例えばファインダ光学系に含まれるペンタプリズム（不図示）の近傍に配置されている。このＡＥセンサ１０７はファインダ光学系の光束に基づいて、被写体像の分割測光を実行する。そして、ＡＥセンサ１０７は、各々の分割領域ごとの平均輝度値をＣＰＵ１１５に出力する。尚、ライブビューモードでの動作時には、上記に説明したようにメインミラー１０５ａは退避状態の位置にあり、ファインダ光学系には光が導かれないのでＡＥセンサ１０７による測光を行うことができない。この場合は、撮像素子１０８から得られる画像データを基に、被写体像の分割測光を実行する。

ここで、ＡＥセンサ１０７や撮像素子１０８で分割測光を行う場合の分割領域について説明する。例えば、図２（ａ）の撮影する画像２０１に対して、図２（ｂ）に示すように測光画面２０３を分割領域（Ｘ１，Ｙ１）から分割領域（Ｘ１０，Ｙ８）までの８０個の分割領域に分ける。そして、これらの横方向（Ｘ方向）１０ブロック、縦方向（Ｙ方向）８ブロックの分割領域のそれぞれにおいて平均輝度値を求める。例えば、ＡＥセンサ１０７を用いる場合は、各々の分割領域毎の平均輝度値をＣＰＵ１１５に出力する。或いは、撮像素子１０８で分割測光を行う場合は、ＣＰＵ１１５が撮像素子１０８で撮影した画像データから分割領域ごとの平均輝度値を求める。尚、図２（ｂ）の詳しい説明については後で行う。

本実施形態に係る電子カメラ１０１は、撮像素子１０８が撮影可能なダイナミックレンジ範囲に収まらない広いダイナミックレンジの被写体を撮影する場合に有効である。このような被写体の一例を図３に示す。図３（ａ）は屋内５０１において太陽光が差し込む窓５０２が含まれる構図で被写体を撮影する様子を示している。図３（ｂ）は、図３（ａ）の被写体を電子カメラ１０１で撮影した画像５０３の様子を示している。ここで、電子カメラ１０１の露出が、窓５０２以外の被写体部分で適正になるように設定されて、画像５０３が撮影されたとする。この場合、窓５０２の部分は高輝度なので、仮に撮像素子１０８のダイナミックレンジを超えてしまうと、撮影された画像５０３の窓５０４の部分は白飛びを起こすことになる。逆に、電子カメラ１０１の露出が、図３（ａ）の窓５０２の部分で適正になるように設定されて撮影された画像は、図４（ｂ）に示すように、撮影された画像５０５の窓５０６の部分で適正露光となり、窓５０６以外の被写体画像は黒潰れしたり暗く撮影されてしまう。尚、図４（ａ）は、図４（ｂ）の画像５０５と対比し易いように、図３（ｂ）と同じ画像５０３を描いてある。

本実施形態に係る電子カメラ１０１は、このような広いダイナミックレンジの被写体を撮影する場合に、低輝度部分に対応した露出設定で第１露光を行って第１画像（図４（ａ）の画像５０３に相当）を撮影し、続けて高輝度部分に対応した露出設定で第２露光を行って第２画像（図４（ｂ）の画像５０５に相当）を撮影する。そして、第１画像と第２画像とを合成することにより、撮像素子１０８が撮影可能なダイナミックレンジ範囲に収まらない広いダイナミックレンジの被写体を撮影することができる。特に、本実施形態では、高輝度部分に対応した第２画像は、撮像素子１０８から窓５０６の高輝度部分の画像だけを含む一部の画像を部分読み出しで読み出すので、同じ被写体を２回撮影する場合に比べて撮影時間を短縮することができる。尚、部分読み出しについては、後で詳しく説明する。

以下、本実施形態に係る電子カメラ１０１の撮影処理について、図５のフローチャートを用いて詳しく説明する。

（ステップＳ１０１）ユーザーは、電子カメラ１０１を撮影モードにして撮影を開始する。ＣＰＵ１１５はメインミラー１０５ａを退避状態にし、シャッター１２１を開いた状態にする。撮像素子１０８は所定間隔毎にライブビュー画像の画像信号を取得する。画像処理部１１２はライブビュー画像のデータに基づいて表示画像を逐次生成する。そして、モニタ１１７にはライブビュー画像が動画表示される。このように、ユーザーは、電子カメラ１０１のモニタ１１７に表示されるライブビュー画像を見ながら、撮影構図を決定するためのフレーミングを行うことができる。

（ステップＳ１０２）ＣＰＵ１１５は操作部１１８のレリーズボタンが半押しされたか否かを判定する。レリーズボタンが半押しされた場合（ＹＥＳ側）には、ＣＰＵ１１５はステップＳ１０３に移行する。一方、レリーズボタンが半押しされていない場合（ＮＯ側）には、ＣＰＵ１１５はステップＳ１０２の判定を繰り返す。尚、ユーザーが操作ボタン１１８を操作して撮影モードから抜けると、ＣＰＵ１１５は他の処理を開始するので本処理は解除される。

（ステップＳ１０３）ＣＰＵ１１５は、撮像素子１０８から得られる画像データを基に、コントラスト方式で合焦位置を検出する。そして、ＣＰＵ１１５はレンズユニット１０３に指令して、フォーカスレンズを合焦位置に移動する。また、ＣＰＵ１１５は、図２（ｂ）に示すように、撮像素子１０８から得られる画像データを基に、分割領域毎に被写体像の分割測光を実行し、分割領域ごとの平均輝度値を算出する。

同時に、ＣＰＵ１１５は、測光値に基づいて公知のＡＥ演算を実行し、後で撮影する第１画像と第２画像の両方の露出条件（露光時間、絞り値、撮影感度など）を決定し、メモリ１１３などに一時的に記憶しておく。

（ステップＳ１０４）ＣＰＵ１１５は、分割測光した分割領域ごとの平均輝度値から高輝度部の位置と幅を検出する。高輝度部の位置や幅の検出は、図２（ｂ）に示したような分割領域の分解能で行われ、各分割領域の平均輝度値が予め設定しておいた所定値以上か否かで判定する。例えば、平均輝度値が所定値以上の場合は高輝度領域、所定値未満の場合は低輝度領域であると判定する。図２（ｂ）に示した「明」，「暗」の表示は、この判定結果の一例を示しており、「明」は所定値以上で「暗」は所定値未満である。例えば、図２（ａ）に示す屋内の撮影画像２０１の窓２０２の領域は、太陽光など外部光線により高輝度になっている。この結果、図２（ｂ）に示すように、窓２０２に対応する位置にある分割領域（Ｘ２，Ｙ１）〜（Ｘ２，Ｙ４），分割領域（Ｘ３，Ｙ１）〜（Ｘ３，Ｙ４），分割領域（Ｘ４，Ｙ１）〜（Ｘ４，Ｙ４），分割領域（Ｘ５，Ｙ１）〜（Ｘ５，Ｙ４）の１６個の分割領域を含む領域２０４の部分を高輝度部であると判定する。尚、高輝度部の位置や幅は、分割領域の分解能単位で求める。例えば、図２（ｂ）の場合は、高輝度部の位置はＹ１〜Ｙ４の行でＸ２〜Ｘ５の列の分割領域であることがわかる。この場合、撮像素子１０８から行単位で部分読み出しする幅はＹ１〜Ｙ４となる。

（ステップＳ１０５）ＣＰＵ１１５は、撮像素子１０８から部分読み出しする際の読み出し行を設定する。この時、例えば、６４０行×４８０列の画素数の撮像素子１０８の場合、図２（ｂ）の１つの分割領域が８０行分に相当するので、ステップＳ１０４で検出したＹ１〜Ｙ４の分割領域に対応する１行目〜３２０行目までを部分読み出しするよう設定する。尚、ここでは、部分読み出しする行を設定するだけで、実際の部分読み出し動作は後の処理ステップで実行する。

（ステップＳ１０６）ＣＰＵ１１５は、ステップＳ１０３で求めておいた第１画像の露出条件をメモリ１１３から読み出して露出設定を行う。尚、本実施形態では、先に説明したように、第１画像は低輝度部分の被写体に対応する画像と定義しているので、低輝度部分の被写体に適正な露出に設定される。

（ステップＳ１０７）ＣＰＵ１１５は、レリーズボタンが全押しされたか否かを判定する。レリーズボタンが全押しされた場合（ＹＥＳ側）は、ステップＳ１０９に移行する。一方、レリーズボタンが全押しされていない場合（ＮＯ側）は、ステップＳ１０８に移行する。

（ステップＳ１０８）ＣＰＵ１１５は、レリーズボタンの半押しが解除されたか否かを判定する。レリーズボタンの半押しが解除された場合（ＹＥＳ側）は、ステップＳ１０２に戻る。一方、レリーズボタンの半押しが解除されていない場合（ＮＯ側）は、ステップＳ１０７に戻る。

（ステップＳ１０９）ＣＰＵ１１５は、シャッター１２１を閉じ、メインミラー１０５ａをミラーダウンして退避状態から観察状態にする。

（ステップＳ１１０）ＣＰＵ１１５は、撮像素子１０８の全画素の光電変換部に蓄積されている電荷をリセットする。

（ステップＳ１１１）ＣＰＵ１１５は、メインミラー１０５ａをミラーアップして観察状態から退避状態にし、シャッター１２１を開く。

（ステップＳ１１２）この状態で、被写体光は撮像素子１０８に入射し、第１露光が行われる（第１画像の撮影開始）。尚、第１露光は、先に説明したように、低輝度部用の露光である。

（ステップＳ１１３）ＣＰＵ１１５は、シャッター１２１を閉じ、メインミラー１０５ａをミラーダウンして退避状態から観察状態にする。この時点で第１露光は終了する（第１画像の撮影終了）。

（ステップＳ１１４）ＣＰＵ１１５は、第１露光で撮影された第１画像を撮像素子１０８から読み出す。撮像素子１０８から読み出された画像データは、先に説明したように、アナログ信号処理部１０９，デジタル信号処理部１１１，画像処理部１１２で処理されて、メモリ１１３に一時的に記憶される。

（ステップＳ１１５）ＣＰＵ１１５は、ステップＳ１０３で求めておいた第２画像の露出条件をメモリ１１３から読み出して露出設定を行う。尚、本実施形態では、先に説明したように、第２画像は高輝度部分の被写体に対応する画像で、高輝度部分の被写体に適正な露出に設定される。

（ステップＳ１１６）ＣＰＵ１１５は、撮像素子１０８の全画素の光電変換部に蓄積されている電荷をリセットする。

（ステップＳ１１７）ＣＰＵ１１５は、メインミラー１０５ａをミラーアップして観察状態から退避状態にし、シャッター１２１を開く。

（ステップＳ１１８）この状態で、被写体からの光は撮像素子１０８に入射し、第２露光が行われる（第２画像の撮影開始）。尚、第２露光は、先に説明したように、高輝度部用の露光である。

（ステップＳ１１９）ＣＰＵ１１５は、シャッター１２１を閉じ、メインミラー１０５ａを退避状態から観察状態にする。この時点で第２露光は終了する（第２画像の撮影終了）。

（ステップＳ１２０）ＣＰＵ１１５は、第２露光で撮影された第２画像を撮像素子１０８から部分読み出しする。この時、部分読み出しする行は、ステップＳ１０５で設定された行である。例えば、図２（ｂ）の場合は、Ｙ１〜Ｙ４の分割領域に対応する行の画像データだけが撮像素子１０８から読み出される。この時の様子を図６に示す。図６（ａ）は、図４（ｂ）と同じように、高輝度部分の窓５０６に露光条件を合わせて撮像素子１０８で撮影した第２画像５０５を示している。また、図６（ｂ）は、ステップＳ１０４で設定した部分読み出し幅（Ｙ１〜Ｙ４）で、撮像素子１０８から読み出した部分読み出し画像５０７を示している。このように部分読み出しすることで、高輝度部分を含まないＹ５〜Ｙ８の画像領域を撮像素子１０８から読み出す必要がなく、その部分の画像処理も行わないので、読み出し時間や処理時間を短縮できる。

撮像素子１０８から部分読み出された画像データは、先に説明したように、アナログ信号処理部１０９，デジタル信号処理部１１１，画像処理部１１２で処理されて、メモリ１１３に一時的に記憶される。

（ステップＳ１２１）ＣＰＵ１１５は、メモリ１１３に一時的に記憶された第１画像の画像データと第２画像の画像データとをそれぞれ読み出して合成する。合成した画像は、本撮影画像として記録Ｉ／Ｆ１１４を介して記憶媒体１２２に記憶される。

以上で１枚の静止画の本撮影が終了し、ステップＳ１０２に戻って次の画像の撮影を行う。

ここで、第１画像と第２画像の画像データの合成方法について図７および図８を用いて説明する。合成方法は、例えば、部分読み出しした第２画像から高輝度部分を切り出して、切り出した領域に対応する第１画像の同じ領域の画像データを切り出した領域の画像データで置き換えることにより実現できる。図７は、ステップＳ１１４で読み出した低輝度部分に対応した画像５０３（第１画像）と、ステップＳ１２０で部分読み出した高輝度部分に対応した画像５０７（第２画像）とを合成して、最終的な本撮影画像４０１を得る処理の流れを描いた説明図である。尚、図７では、行単位で部分読み出しした画像５０７には高輝度部分である窓５０６以外の被写体も含まれているので、部分読み出しした第２画像５０７から高輝度部分を切り出してから合成するのが好ましい。

図８は、部分読み出しした第２画像５０７から高輝度部分を切り出す方法の一例を説明するための図で、図８（ａ）は部分読み出しした第２画像を示している。図８（ｂ）は図８（ａ）の第２画像を線分ＡＢで示した行の輝度レベルの変化を示している。尚、図８（ｂ）では、輝度レベルを８ビット階調で示し、最大輝度レベルは２５５である。また、分かり易いように、図８（ｂ）の高輝度部分以外の領域の輝度レベルは１６前後であったとする。この場合に、高輝度部分を切り出す際の基準値を３２に設定すると、高輝度部分以外の領域の画像が除去されて、高輝度部分のみ窓５０６の画像を切り出すことができる。図８（ｃ）は、このようにして部分読み出しした第２画像５０７から高輝度部分のみの画像を切り出した様子を示している。

尚、撮像素子１０８が行方向だけでなく、列方向にも部分読み出しできる機能を有する固体撮像素子である場合は、図５のステップＳ１２０において、窓５０６の画像だけを部分読み出しするようにしても構わない。この場合は、図８で説明したような行単位で読み出してから高輝度部分を抽出する処理を行う必要がないので、さらに撮影時間を短縮することができる。この時、行方向および列方向の部分読み出しする位置や幅は、ステップＳ１０４において行われる。

また、図８（ｂ）で説明した高輝度部分を切り出す際の基準値３２の決定方法は、例えば、第１画像の第１露光量と第２画像の第２露光量との差に応じて決めるようにする。つまり、第１画像の第１露光量と第２画像の第２露光量との差が大きい場合は基準値を小さく設定し、第１画像の第１露光量と第２画像の第２露光量との差が小さい場合は基準値を大きく設定する。このように、高輝度部分を切り出す際の基準値を第１画像の第１露光量と第２画像の第２露光量との差に応じて可変することにより、高輝度部分と低輝度部分との輝度差が少ない場合や多い場合にそれぞれ適した基準値を設定することができ、高輝度部分をより精度良く切り出すことができる。尚、簡易的な方法として、予め設定した固定の基準値を用いるようにしても構わない。

以上、説明してきたように、第１の実施形態に係る電子カメラ１０１は、撮像素子１０８が撮影可能なダイナミックレンジ範囲に収まらない広いダイナミックレンジの被写体を撮影する場合に有効である。特に、本実施形態に係る電子カメラ１０１は、撮影処理の連続したシーケンスの中で、低輝度部分に対応した露出設定で第１露光を行って第１画像を撮影し、続けて高輝度部分に対応した露出設定で第２露光を行って第２画像を撮影し、第１画像と第２画像とを合成して本撮影画像とする。この結果、撮像素子１０８で撮影可能なダイナミックレンジ範囲に収まらない広いダイナミックレンジの被写体であっても、白飛びや黒つぶれなどが発生せず、鮮明な画像を得ることができる。

また、動画表示モード時（図５のステップＳ１０２〜Ｓ１０７）に撮影画像の高輝度部分を検出しておくので、ステップＳ１０７でレリーズボタンが全押しされた後で高輝度部分を検出する処理を行う必要がなく、撮影時間を短縮することができる。

特に、高輝度部分を撮影する第２画像は撮像素子１０８から部分読み出しするので、読み出し時間や読み出した画像に対する色補正などの画像処理時間が短くなり、全体の撮影時間を短縮することができる。

（第１の実施形態の変形例）
第１の実施形態の変形例として、光学ファインダを用いて撮影する場合について説明する。上記の説明では、図５のフローチャートにおいて、ステップＳ１０７でレリーズボタンが全押しされるまで、メインミラー１０５ａは退避状態にあり、シャッター１２１は開かれたままで連続してライブビュー画像を撮影していた。このため、ステップＳ１０３で行うＡＦ処理とＡＥ処理は、撮像素子１０８から得られる画像データを基に行っていた。

これに対して、光学ファインダを用いた撮影の場合は、ステップＳ１０７でレリーズボタンが全押しされるまで、メインミラー１０５ａはミラーダウンされた観察状態にあり、シャッター１２１は閉じたままである。この状態では、図１のブロック図で説明したように、ＡＦ処理専用のＡＦセンサ１０６と、ＡＥ処理専用のＡＥセンサ１０７とを用いることができる。従って、光学ファインダを用いた撮影の場合のフローチャートは、図５のフローチャートのステップＳ１０３を以下に示したステップＳ１０３’に置き換える必要がある。

（ステップＳ１０３’）ＣＰＵ１１５は、ＡＦセンサ１０６から得られるデータを基に位相差検出方式によって合焦位置を検出する。そして、ＣＰＵ１１５はレンズユニット１０３に指令して、フォーカスレンズを合焦位置に移動する。また、ＣＰＵ１１５は、図２（ｂ）に示すように、ＡＥセンサ１０７から分割領域毎の平均輝度値を入力する。さらに、ＣＰＵ１１５は、測光値に基づいて公知のＡＥ演算を実行し、後で撮影する第１画像と第２画像の両方の露出条件（露光時間、絞り値、撮影感度など）を決定し、メモリ１１３などに一時的に記憶しておく。

尚、ステップＳ１０３以外の処理は、ステップＳ１０９を除いて図５のフローチャートと同じである。

このように、光学ファインダを用いた撮影においても、電子カメラ１０１は、低輝度部分に対応した露出設定で第１露光を行って第１画像を撮影し、続けて高輝度部分に対応した露出設定で第２露光を行って第２画像を撮影し、第１画像と第２画像とを合成して本撮影画像とする。この結果、撮像素子１０８のダイナミックレンジに収まらないような広いダイナミックレンジの被写体であっても、白飛びや黒つぶれなどが発生せず、鮮明な画像を得ることができる。この場合、光学ファインダで撮影構図を決める際に、ＡＥセンサ１０７を用いて撮影画像の高輝度部分を検出しておくので、本撮影時に高輝度部分を検出する処理を行う必要がなく、撮影時間を短縮することができる。

特に、高輝度部分を撮影する第２画像を撮像素子１０８から部分読み出しするので、読み出し時間や読み出した画像に対する色補正などの画像処理時間が短くなり、全体の撮影時間を短縮することができる。

尚、本実施形態では、第１画像を低輝度部用とし、第２画像を高輝度部用としたが、第１画像を高輝度部用で、第２画像が低輝度部用であっても構わない。また、高輝度部用の第２画像を部分読み出しするようにしたが、低輝度部用の第１画像を部分読み出しするようにしても構わない。この場合は、例えば図２（ｂ）の場合、Ｙ５〜Ｙ８の分割領域に対応する行の画像データだけを撮像素子１０８から読み出す。或いは、高輝度部用として第２露光で撮影された第２画像から高輝度部分の被写体が写っている領域だけを部分読み出しするだけでなく、低輝度部用として第１露光で撮影された第１画像においても低輝度部分の被写体が写っている領域の両方を部分読み出しするようにしても構わない。

また、図１のフラッシュ１２０の発光量を変えて、発光量の異なる複数の画像を合成するようにしても構わない。例えば、３種類の発光量Ａ，発光量Ｂ，発光量Ｃでそれぞれ撮影した３枚の画像Ａ，画像Ｂ，画像Ｃを用いて合成する。この場合は、画像Ａからは発光量Ａで適正露光となる領域を部分読み出しして切り出した画像を部分画像Ａとし、画像Ｂからは発光量Ｂで適正露光となる領域を部分読み出しして切り出した画像を部分画像Ｂとし、画像Ｃからは発光量Ｃで適正露光となる領域を部分読み出しして切り出した画像を部分画像Ｃとする。このようにして切り出した３つの部分画像Ａ，部分画像Ｂ，部分画像Ｃを合成して本撮影画像とする。尚、３種類の発光量である必要はなく、２種類であっても構わないし、自然光との組み合わせでも構わない。

さらに、本実施形態では、理解し易いように、１画面に高輝度領域が１つだけ存在する場合について説明したが、１画面に複数の高輝度領域が存在する場合であっても、それぞれの高輝度領域を含む行のみを部分読み出しして抽出した複数の画像を合成することによって同様に実現することができる。

また、図５のフローチャートでは、撮影画像に必ず高輝度領域が存在する場合について説明したが、撮像素子１０８のダイナミックレンジ範囲外の領域が存在しない場合は、合成処理を行う必要がなく、一般的な電子カメラと同様に１回の露光で本画像を撮影する。この場合は、図５のフローチャートにおいて、ステップＳ１０４の処理で所定値以上の高輝度領域が見つからない場合は、ステップＳ１０５をスキップし、さらにステップＳ１１５〜ステップＳ１２１の処理もスキップするようにすればよい。

以上、説明してきたように、本発明に係る電子カメラ１０１は、異なる露光条件で撮影した複数の画像を合成するので、撮影画像のダイナミックレンジを拡大することができる。特に、合成する画像のうち、少なくとも一方の画像を撮像素子１０８から部分的に読み出すので、撮影時間の短縮が可能になる。

第１の実施形態の電子カメラ１０１のブロック図である。高輝度部分を抽出する方法を示す説明図である。ダイナミックレンジの広い被写体の撮影例を示す説明図である。第１露出で撮影した第１画像と第２露出で撮影した第２画像とを示す説明図である。第１の実施形態の電子カメラ１０１の撮影時のフローチャートである。高輝度部分を部分読み出しする方法を示す説明図である。第１画像と第２画像との合成処理を示す説明図である。高輝度領域の抽出処理を示す説明図である。

符号の説明

１０１・・・電子カメラ１０２・・・カメラ本体
１０３・・・レンズユニット１０４・・・撮影光学系
１０５・・・ミラーボックスユニット
１０６・・・ＡＦセンサ１０７・・・ＡＥセンサ
１０８・・・撮像素子１０９・・・アナログ信号処理部
１１０・・・タイミングジェネレータ（ＴＧ）
１１１・・・デジタル信号処理部１１２・・・画像処理部
１１３・・・メモリ１１４・・・記録Ｉ／Ｆ
１１５・・・ＣＰＵ１１６・・・モニタ駆動部
１１７・・・モニタ１１８・・・操作部
１１９・・・バス１２０・・・フラッシュ
１２１・・・シャッター１２２・・・記憶媒体

Claims

被写体像を撮像して画像データを生成する撮像部と、
撮像指示を行うレリーズボタンと、
前記撮像部により撮像されるライブビュー画像に前記撮像部のダイナミックレンジを超える第１領域がある場合は、前記第１領域の位置を検出する位置検出部と、
前記第１領域を撮像するのに適した第１露光量と、前記第１領域以外の第２領域を撮像するのに適した第２露光量とを求める露光量設定部と、
前記レリーズボタン押下時に、前記第１露光量で第１画像を、前記第２露光量で第２画像をそれぞれ撮像し、少なくとも前記第２画像を前記撮像部から部分読み出しで読み出す制御部と、
前記制御部が前記撮像部から読み出した前記第１画像と前記第２画像とを合成する画像処理部と
を有することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記露光量設定部は、前記第１領域が前記ダイナミックレンジより高輝度である場合は、前記第１露光量を前記第２露光量より短時間露光とする
ことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記露光量設定部は、前記第１領域が前記ダイナミックレンジより低輝度である場合は、前記第１露光量を前記第２露光量より長時間露光とする
ことを特徴とする電子カメラ。
請求項１から３のいずれか一項に記載の電子カメラにおいて、
前記画像処理部は、前記第１画像に前記第２画像を合成する際に、前記第２画像の輝度レベルが基準値以下の領域を切り捨ててから前記第１画像に合成する
ことを特徴とする電子カメラ。
請求項４に記載の電子カメラにおいて、
前記基準値は、前記第１露光量と前記第２露光量との差に応じて可変する
ことを特徴とする電子カメラ。