JP6670110B2 - 画像処理装置、撮像装置、制御方法及びプログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、制御方法、プログラムに関し、特にダイナミックレンジを変更して階調表現を異ならせた撮影を行う技術に関する。

撮像素子を露光させて撮像を行うデジタルカメラ等の撮像装置では、被写体の明るさや露光設定によって、１回の撮像に係り撮像素子の光電変換素子に蓄積される電荷が飽和し、例えば高輝度被写体領域において所謂白飛び等の階調表現が失われた結果を導きうる。これに対し、近年では低露出量で撮像した画像信号を用いることで、高輝度領域に階調表現を残しつつ、被写体の明るさ分布を信号レベルに精細に再現する、ダイナミックレンジ（ＤＲ）の拡張技術が存在する。このようにして得られた画像信号は、露出量が低く全体的に暗いため、ガンマ補正を適用することで、高輝度領域における階調表現が担保されるように全体の輝度が引き上げられる。特許文献１には、主要被写体の存在する低〜中輝度領域についてはＤＲの拡張を行わない場合と同等の輝度表現となるように調整しつつ、高輝度領域については圧縮率を高くしたガンマ特性をガンマ補正に用い、ＤＲを拡張した画像を出力することが開示されている。

特開２００４−１２０５１１号公報

一方で、選択可能なＤＲが複数段設けられており、選択されたＤＲに応じた撮像設定で撮像を行う撮像装置においては、飽和画素を有する出力画像信号が生成され得る。例えばユーザにより選択されたＤＲに係る撮像設定で撮像を行った場合、撮像範囲に存在する被写体の輝度（明るさ、測光値等であってもよい）が選択されたＤＲに含まれないのであれば、当然該被写体に係る階調表現は失われる（ハイカット状態）。

しかしながら、ガンマ補正後の出力画像信号を表示装置を用いて提示し、ユーザが例えば撮影前に確認可能な構成にしたとしても、高輝度領域における階調表現がＤＲ内でなされているか否かを、目視にて確認することは困難であった。

本発明は、上述の問題点に鑑みてなされたものであり、好適なダイナミックレンジの設定をユーザに可能ならしめる画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、各々異なるダイナミックレンジに対応する複数の露出設定のうちから、１つの露出設定を選択する選択手段と、選択手段により選択された露出設定に対応する第１のダイナミックレンジよりも広い範囲を有する第２のダイナミックレンジに対応する露出設定で撮像して得られた画像信号に基づき、該画像信号の所定の領域の明るさを取得する取得手段と、取得手段により取得された所定の領域の明るさが第１のダイナミックレンジに含まれない場合に、その旨をユーザに認識させる情報を提示する提示手段と、を有することを特徴とする。

このような構成により本発明によれば、好適なダイナミックレンジの設定をユーザに可能ならしめることが可能となる。

本発明の実施形態に係るデジタルビデオカメラ１００の外観図 本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示したブロック図 本発明の実施形態１に係るデジタルビデオカメラ１００で実行される提示処理を例示したフローチャート 本発明の実施形態に係る、ＤＲアシスト機能における表示用画像信号を生成するガンマ特性を説明するための図 本発明の実施形態１に係り取得される測光値を説明するための図 本発明の実施形態１に係る情報提示の画面構成例 本発明の実施形態２に係る提示処理を例示したフローチャート 本発明の実施形態２及び変形例１に係る情報提示の画面構成例

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は画像処理装置の一例としての、各々異なるダイナミックレンジ（以下、ＤＲ）に対応する複数の露出設定を用いて撮像を行うことが可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、該複数の露出設定の選択する際の基準となり得る情報提示を行うことが可能な任意の機器に適用可能である。

《デジタルビデオカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルビデオカメラ１００の外観を示した図である。

図１において表示部２８が、複数の撮影モードにより撮影され記録された画像信号や各種の情報を表示するために設けられた表示装置である。またデジタルビデオカメラ１００には、撮影指示を行うための録画スイッチ６１、各種モードを切り替えるためのモード切替スイッチ６０、及び電源オン／電源オフを切り替えるための電源スイッチ７２が設けられる。またこの他、各種ボタンや十字キー等のユーザからの各種操作を受け付ける操作部材が操作部７０として設けられる。

コネクタ１１２は、デジタルビデオカメラ１００と外部機器とを接続する際の接続ケーブル用のコネクタである。また記録媒体２００は、メモリカードやハードディスク等の着脱可能に接続される記録媒体であり、記録媒体スロット２０１に収納されることでデジタルビデオカメラ１００と接続され、情報の送受信が可能となる。

次にデジタルビデオカメラ１００の機能構成について、図２のブロック図を用いて説明する。図示されるように本実施形態のデジタルビデオカメラ１００では、撮像信号を得るために、バリア１０２、撮影レンズ１０３、絞り１０１、ＮＤ１０４を介して被写体からの光が撮像部２２に導かれる。撮影レンズ１０３は、例えばズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は、光量調整に使用する絞りである。ＮＤ１０４は、減光用に使用するフィルタである。撮像部２２は、結像された光学像を電気信号（アナログ画像信号）に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また撮像部２２は、電子シャッタによる電荷蓄積量／時間の制御や、アナログゲインの適用制御、読み出し速度の変更等の機能も備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されたアナログ信号をデジタル信号に変換する。なお、バリア１０２は、これらの撮影レンズ１０３を含む撮像光学系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系統部材の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３から出力されたデジタル画像信号（以下、単に画像信号または画像データ）またはメモリ制御部１５により取得された画像データに対して色変換処理、ガンマ補正処理、デジタルゲインの付加等の処理を行う。また画像処理部２４は、撮像した画像信号を用いて露出制御等に係る所定の演算処理を行い、演算結果をシステム制御部５０に伝送する。システム制御部５０は、該演算結果に基づいて露出制御、測距制御、ホワイトバランス制御等を行う。このように動作することで、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が実現される。

また画像処理部２４は、後述の表示部２８に表示する画像信号（表示用の画像信号）の生成も行う。表示用の画像信号は、撮像により得られた画像信号（種々の処理が適用されたものも含む）に限られるものでなく、さらに予め定められた、あるいはデジタルビデオカメラ１００の状態に応じて生成された１以上のＧＵＩが重畳されて構成されるものであってよい。本実施形態のデジタルビデオカメラ１００では、画像処理部２４は、例えば撮像時のアイリス情報、ＳＴＯＰ情報、フォーカス情報等を撮像により得られた画像信号に重畳した画像信号を、表示用の画像信号として出力する。

本実施形態のデジタルビデオカメラ１００は、複数種類のＤＲの画像信号を出力可能なように構成されており、ユーザは所望のＤＲの画像信号が出力されるよう撮像設定（露出設定）を変更することができる。出力画像のＤＲは、選択された撮影モードに応じて変更されるものであってもよいし、ユーザによる露出設定に係る各種の変更操作に応じて選択されるものであってもよい。即ち、デジタルビデオカメラ１００において設定可能な露出設定には、各々異なるＤＲに対応する露出設定が複数含まれる。ここで、複数の露出設定は、全てが異なるＤＲに対応するものである必要はなく、同一のＤＲに対応する露出設定が複数存在することを除外するものではない。

ところで、上述したように選択されたＤＲにおいてユーザの所望する階調表現がなされるか否か、即ち、光電変換素子において飽和が生じて一部の明るさ（測光値）が飽和値として表現されてしまうか否かは、目視では確認しづらい。従って、本実施形態のデジタルビデオカメラ１００は、所望の撮像結果を得るための撮像設定／露出設定（あるいはＤＲ設定）の決定をユーザに容易ならしめるための情報の提示を行うＤＲ設定アシスト機能を有する。ＤＲ設定アシスト機能は、例えばマニュアルモード等の、撮像に係る各種設定を変更可能な撮影モードにおいて追加的に選択可能な機能であってよい。

ＤＲ設定アシスト機能は、撮像により得られる画像信号のＤＲ設定をユーザに容易ならしめるための情報をユーザに提示するために、画像処理部２４が該情報を重畳データとして表示用の画像信号に含めることにより実現される。即ち、本実施形態のデジタルビデオカメラ１００では、該情報は、撮像により得られた画像信号とともに表示部２８を介してユーザに提示される。しかしながら、本発明の実施において、ＤＲ設定をユーザに容易ならしめるための情報の提示は、撮像により得られた画像信号とともに行われる必要はなく、さらに該情報がユーザに提示可能な構成であれば表示に用いる媒体は表示部２８に限られるものではない。例えば、情報の提示は後述するようなＧＵＩにより行われるものである必要はなく、単に必要な数値を提示することにより行われるものであってもよい。また情報提示は、デジタルビデオカメラ１００に設けられている表示部２８を含む表示装置において行われるものに限られるものではなく、デジタルビデオカメラ１００に接続された外部の表示装置が用いられるものであってもよいことは言うまでもない。

なお、画像処理部２４において実行される種々の処理は任意の単位で分割されてもよく、各々の分割単位の処理について、専用の演算回路やプロセッサが設けられることで画像処理部２４は構成されるものであってもよい。この場合、画像処理部２４が有する各回路やチップは、システム制御部５０の制御下ではなく、信号の入力に応じて所定の動作を開始し、動作結果である信号を出力するよう構成されるものであってもよい。

このように、画像処理部２４により生成された種々の出力信号は、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２により撮像されてＡ／Ｄ変換器２３により変換されたデジタル画像信号を一時的に格納する格納領域である。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は表示部２８に係る表示用の画像信号を格納するための記憶装置（ビデオメモリ）を兼ねている。この場合、Ｄ／Ａ変換器１３がメモリ３２に格納されている表示用の画像信号をアナログ信号に変換して表示部２８に供給する。このようにすることで、メモリ３２に書き込まれた表示用の画像信号が、表示部２８に表示される。

表示部２８は、例えばＬＣＤ等の表示装置であり、Ｄ／Ａ変換器１３から出力されたアナログ画像信号に応じて表示を行う。またＡ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積された画像信号を、Ｄ／Ａ変換器１３においてアナログ変換して表示部２８に逐次転送して表示することで、表示部２８は電子ビューファインダとして機能し、スルー画像表示を実現できる。

不揮発性メモリ５６は、例えば電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、デジタルビデオカメラ１００が有する各ブロックの動作プログラム等が記憶される。

システム制御部５０は、例えばＣＰＵ等の制御回路であり、デジタルビデオカメラ１００が有する各ブロックの動作を制御する。システム制御部５０は、例えば不揮発性メモリ５６に記録された各ブロックの動作プログラムを読み出し、システムメモリ５２に展開して実行することにより、各ブロックの動作を制御する。システムメモリ５２は、例えばＲＡＭ等であり、動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データ等を格納するための格納領域としても機能する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムタイマー５３は各種制御に用いる時間や内蔵時計に係る時間の計測を行うための計時機能に用いられ、システム制御部５０は必要に応じて該計時機能を用いて各種処理の制御を行う。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替えるための操作入力を受け付ける。動画記録モードや静止画記録モードに含まれるモードとして、上述した通常モード及び高輝度優先モードを含む。またこの他、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等を含むものであってもよい。モード切替スイッチ６０になされたモード変更の情報は、所定の制御信号としてシステム制御部５０に伝送される。録画スイッチ６１は撮影待機状態と撮影状態を切り替えるための操作入力を受け付ける。システム制御部５０は、録画スイッチ６１になされた操作入力に係る制御信号の受信に応じて、撮像部２２からの信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作すること等により、場面ごとに適宜機能が割り当てられ、各種機能に係る操作入力を受け付ける。ボタンが割り当てられる各種機能には、例えば終了、戻る、画像送り、ジャンプ、絞込み、属性変更等が含まれてよい。例えば、メニューボタンに係る操作入力が行われた場合には、各種の設定可能なメニュー画面が表示部２８に表示され、操作部７０の各操作部材について受け付ける操作入力の割り当てが変更される。ユーザは、表示部２８に表示されたメニュー画面に基づき、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。本実施形態のデジタルビデオカメラ１００では、所定の状態においてユーザは表示部２８に表示されたポインタを十字キーにより移動操作可能であり、例えば画像信号の表示中にＳＥＴボタンをさらに操作することで、ポインタに対応する領域を選択できる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。本実施形態では撮影モードにおいて行われた撮像動作に係り、画像処理部２４から出力された画像信号が記録媒体２００に記録される。

本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《提示処理》
このような構成をもつ本実施形態のデジタルビデオカメラ１００で実行される、撮像により得られる画像信号のＤＲ設定をユーザに容易ならしめるための情報を提示する提示処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部５０が、例えば不揮発性メモリ５６に記憶されている対応する処理プログラムを読み出し、メモリ３２に展開して実行することにより実現することができる。本提示処理は、例えばＤＲアシスト機能の利用指示に係る操作入力がなされた際に開始されるものとして説明する。

Ｓ３０１で、システム制御部５０は、現在の露出設定（選択露出設定）に基づいて、対応するＤＲ（選択ＤＲ）を特定する。選択ＤＲの情報は、例えば該ＤＲに係る明るさの境界値（最大値、最小値）や対応するＳＴＯＰ数を示すものであってよい。選択ＤＲの情報は、選択露出設定について予め記憶されているものであってもよいし、システム制御部５０が選択露出設定に基づいて所定の演算を行うことで算出するものであってもよい。

Ｓ３０２で、システム制御部５０は、デジタルビデオカメラ１００により出力可能な画像信号に係る最大のＤＲへの変更量（変更に係る段数／ＳＴＯＰ数）を特定する。本実施形態のデジタルビデオカメラ１００では、被写体の明るさの分布をより正確に評価するために、デジタルビデオカメラ１００の撮像により得られる画像信号において表現可能な最大のＤＲに対応する露出設定で撮像された画像信号を用いる。即ち、被写体が選択ＤＲで表現可能な範囲外の明るさを有する場合、選択ＤＲで表現された画像信号では該明るさは飽和値となり正確に評価することができないため、より広い範囲を有するＤＲに対応する露出設定で撮像した画像信号に基づき評価を行う。本実施形態では選択ＤＲよりも広い範囲を有するＤＲとしてデジタルビデオカメラ１００において対応可能な最大のＤＲを用いるものとして説明するが、本発明の実施がこれに限られるものではないことは容易に理解されよう。即ち、本発明の実施は、少なくとも選択ＤＲに含まれない一部の明るさを飽和値としてではなく評価可能な画像信号に基づき情報提示を行うものであればよく、評価用に利用されるＤＲは選択ＤＲよりも広い範囲を有するＤＲであれば最大のＤＲである必要はない。故に、本提示処理ではＤＲアシスト機能の利用に際し、一時的に選択ＤＲよりも広い範囲を有するＤＲ（以下、一時ＤＲ）への変更量を特定し、該一時ＤＲに対応する一時露出設定により取得した画像信号で明るさ評価を行うよう、以後の処理を行う。

なお、一時ＤＲへの変更量Ｄ_changeは、選択ＤＲをＤ_now、一時ＤＲ（デジタルビデオカメラ１００において設定可能な最大のＤＲ）をＤ_maxとすると、一時ＤＲへの変更量の段数は、
Ｄ_change＝ｌｏｇ₂（Ｄ_max／Ｄ_now）
として算出することができる。例えば最大のＤＲが８００％で選択ＤＲが４００％である場合、一時ＤＲへの変更量は１段となる。また選択ＤＲが３００％である場合には、変更量は約１．５２段となる。

Ｓ３０３で、システム制御部５０は、Ｓ３０２において算出した一時ＤＲへの変更量に基づき、露出設定の変更（一時露出設定への変更）を行う。露出設定の変更は、絞り１０１、ＮＤ１０４、撮像部２２における電子シャッタ、アナログゲインの状態、値、動作を変更する等、既存の手法により行われるものであってよい。例えば露出設定を電子シャッタで変更する場合、選択露出設定において電子シャッタのシャッタスピードが１／６０であり、かつ変更量が１段であれば、システム制御部５０は電子シャッタのシャッタスピードを１／１２０に変更する。

またシステム制御部５０は、撮像により得られた画像信号に対し、画像処理部２４において適用されるガンマ補正処理に係るガンマ特性の変更も行う。ガンマ特性は、入力信号（画像信号）の信号レベルを、補正後の出力信号のビット値に変換する際の変換特性である。通常、ガンマ特性は、入力信号において表現されるＤＲの最小値から最大値までの信号レベルを出力信号の最小値から最大値のビット値に割り当てるものである。しかしながら、本提示処理においては入力信号が一時的に拡張されたＤＲ（一時ＤＲ）を有する画像信号となるため、システム制御部５０は該画像信号が、選択露出設定で撮像された場合と同等の「見え」となるようガンマ特性を変更する。即ち、選択ＤＲを有する画像信号において階調表現がなされておらず、露出設定の変更が好適であることをユーザが理解しやすいよう、一時ＤＲを有する画像信号であっても、選択ＤＲに含まれる明るさで表現した画像信号に変換するようにガンマ特性が変更される。

一時露出設定で撮像され得られた画像信号の信号レベル（入力信号レベル）Ｘに対し、ガンマ補正後に出力される信号レベル（出力レベル）Ｙであるとする。この場合、通常であれば図４の実線４０１にて示されるように、一時ＤＲの最大値に対応する入力信号レベルの最大値Ｘ_maxが出力信号レベルの最大値Ｙ_maxに割り当てられるよう、ガンマ特性は定められる。しかしながら、本実施形態の提示処理では、上述したように画像信号の「見え」を選択露出設定で撮像した場合の画像信号に近づけるため、該ガンマ特性を異なる特性に変更する。例えば、上述したように選択ＤＲが４００％、一時ＤＲが８００％である場合は、選択ＤＲの最大値に対応する入力信号レベルの最大値は、
（Ｄ_now／Ｄ_max）・Ｘ_max＝Ｘ_max／２
となる。即ち、選択露出設定で撮像した場合の画像信号であれば、Ｘ_max／２の信号レベルが出力信号レベルの最大値Ｙ_maxとなるため、図４の一点鎖線４０２のように
で示される変換特性のガンマ特性を、システム制御部５０は画像処理部２４に設定する。ここで、γ_assist(Ｘ)が、一時ＤＲを有する画像信号を選択ＤＲに含まれる明るさで表現した画像信号に変換するガンマ特性に係る関数（一点鎖線４０２に対応）である。またγ_normal(Ｘ)は一時ＤＲを有する画像信号に対して通常行われるガンマ補正に係る関数（実線４０１に対応）であり、Ｘ＝Ｘ_maxでＹ＝Ｙ_maxを示す。

なお、本実施形態ではＤＲアシスト機能の利用前後での画像信号の「見え」を統一するためにこのようなガンマ特性の変更を行うものとして説明する。しかしながら、一時ＤＲでは明るさが表現される領域を判別しやすくするために、一時露出設定で撮像された画像信号に対して通常使用されるガンマ特性を用いたガンマ補正処理を行って得られた画像を表示するよう、ガンマ特性の変更は行わなくともよい。

Ｓ３０４で、システム制御部５０は、Ｓ３０３における変更後の露出設定、即ち一時露出設定にて撮像を行うよう各ブロックを制御し、撮像部２２に画像信号を出力させる。即ち、本実施形態のデジタルビデオカメラ１００では、ＤＲアシスト機能を利用している間は該機能利用開始前の露出設定（選択露出設定）ではなく、一時露出設定にて撮像を行い得られた画像信号を基に、以下の種々の処理を行う。

Ｓ３０５で、画像処理部２４は、ガンマ補正処理を適用する前の画像信号に基づき、画像信号内の所定の領域について、該領域の明るさを示す測光値を取得する。所定の領域は、例えば図５（ａ）に示される一時露出設定で撮像されて得られた画像信号について、図５（ｂ）に示されるような８×８の枠（測光枠）で区分けされて定義された領域から、ユーザにより選択された領域、あるいは予め定められた領域であってよい。画像処理部２４は、所定の領域内の画像信号に係る輝度平均値を取得し、該領域の測光値としてメモリ制御部１５を介してメモリ３２に格納する。なお、本実施形態では所定の領域の明るさを示す測光値として、領域内の輝度平均値を用いるものとして説明するが、本発明の実施はこれに限られるものではない。所定の領域の明るさを示す値は、例えば領域内の輝度値の積分値やＥＶ値等、明るさの指標となる値であればどのような値が用いられてもよい。また、本実施形態ではポインタにより選択された１つの領域に係る測光値が本ステップで取得されるものとして説明するが、これに限らず、予め定められた１以上の領域の測光値が取得されるものであってもよいことは言うまでもない。

Ｓ３０６で、画像処理部２４は、一時露出設定で得られた画像信号に対し、ガンマ補正処理を適用し、表示部２８に表示するための表示用画像信号に変換し、変換後の表示用画像信号をメモリ制御部１５を介してメモリ３２に格納する。上述したように、本ステップで実行されるガンマ補正処理は、Ｓ３０３において変更されたガンマ特性を用いて実行されるものであり、表示用画像信号は一時ＤＲではなく選択ＤＲに含まれる明るさで表現された画像信号となる。

Ｓ３０７で、画像処理部２４は、撮像により得られる画像信号のＤＲ設定をユーザに容易ならしめるための情報提示を表示部２８を用いて行う。具体的には画像処理部２４は、図６に示されるような、表示用画像信号に基づく表示画像６０１に加え、一時ＤＲ６０２、選択ＤＲ６０３、ポインタ６０４、及び該ポインタ６０４により示される領域（所定の領域）の測光値６０５を配置した画面を生成する。一時ＤＲ６０２、選択ＤＲ６０３及び測光値６０５は、対比がしやすいよう、一時ＤＲに含まれる明るさ（ＳＴＯＰ数）を示すスケールにて尺度を統一して配置される。図６の例では表示画像６０１を提示する領域とは異なる領域に、ＤＲ設定をユーザに容易ならしめるための情報として一時ＤＲ６０２、選択ＤＲ６０３及び測光値６０５を配置している。しかしながら、情報提示はこれに限らず、例えば表示画像６０１に重畳することによりなされてもよい。Ｓ３０７の処理が完了した後、システム制御部５０は処理をＳ３０４に戻す。このようにすることで、本提示処理により、ＤＲアシスト機能が利用されている間、ＤＲ設定をユーザに容易ならしめるための情報がスルー画像と共にユーザに提示することができる。

また本実施形態の提示処理では、一時ＤＲ６０２に係る尺度において、選択ＤＲ６０３の境界値（最大値、最小値）と、所定の領域の測光値６０５とを提示するものとして説明したが、本発明の実施はこれに限られるものではない。例えば高輝度領域については、該領域の測光値が選択ＤＲに含まれるか否か、さらには測光値が選択ＤＲの最大値からどれだけ乖離しているかの情報が判別できれば、ユーザは所望の階調表現がなされる露出設定を把握することが可能となる。従って、本発明の実施においては、図６に示したような表示態様に限らず、例えば所定の領域の明るさを示す値と選択ＤＲの最大値との差分を定量的に示す情報を提示すれば、好適なＤＲ設定をユーザに可能ならしめることもできる。なお、本実施形態では主として高輝度領域の階調表現の担保を可能ならしめるため、測光値と選択ＤＲの最大値とを比較可能に提示するものとして説明したが、本発明の実施はこれに限られるものではないことは容易に理解されよう。即ち、低輝度領域における黒潰れを回避するためにも、本発明は適用可能であり、測光値が選択ＤＲに含まれるか否かは、測光値と選択ＤＲの最小値とを比較可能に表示する提示するものであってもよい。無論、選択ＤＲに含まれるか否かは、選択ＤＲの最大値、最小値のいずれかと測光値との比較である必要はなく、選択ＤＲの最大値及び最小値の双方と測光値との比較結果を提示することによりなされるものであってもよい。

以上説明したように、本実施形態の提示処理によれば、現在設定されている露出設定に対応するＤＲに含まれない明るさの被写体が撮像範囲に含まれていたとしても、該被写体について好適なＤＲ設定をユーザに可能ならしめる情報を提示することができる。

［実施形態２］
上述した実施形態１では、指定した位置（所定の領域）の測光値が選択ＤＲに含まれるか否かをユーザが判別可能な情報を提示する態様について説明した。即ち、実施形態１の態様では、ユーザが所望の階調表現がなされていないであろう領域を選択することで、該領域について選択ＤＲに測光値が含まれるか否かの判断が行われるため、より高い測光値を示す領域がその他にあったとしても、ユーザに看過され得る。本実施形態では、ＤＲアシスト機能の利用時に、撮像範囲に存在する被写体の明るさの分布が、選択ＤＲに含まれるか否かをよりユーザに把握させうる情報提示態様について説明する。なお、本実施形態のデジタルビデオカメラ１００の構成は、実施形態１のデジタルビデオカメラ１００と同一であるものとして説明は省略する。

《提示処理》
以下、本実施形態のデジタルビデオカメラ１００において実行される提示処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部５０が、例えば不揮発性メモリ５６に記憶されている対応する処理プログラムを読み出し、メモリ３２に展開して実行することにより実現することができる。本提示処理は実施形態１と同様に、例えばＤＲアシスト機能の利用指示に係る操作入力がなされた際に開始されるものとして説明する。また本実施形態の提示処理において、実施形態１と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態に特徴的な処理を行うステップについて説明する。

Ｓ３０４において一時露出設定で撮像された画像信号が取得された後、画像処理部２４はＳ７０１で、該画像信号に含まれる画素群の各々について測光値を取得する。そして画像処理部２４は、一時ＤＲに係る尺度で示される所定の値範囲ごとに該当する測光値を有する画素数をカウントしたヒストグラム（頻度マップ）の生成に用いられる測光値の分布情報を生成し、メモリ制御部１５を介してメモリ３２に格納する。本ステップで行われる処理は、実施形態１の提示処理のＳ３０５において実行される処理を、所定の領域を画素サイズに変更し、複数の領域について行うことに相当する。なお、本実施形態では画素単位で測光値を取得して測光値の分布情報を生成するものとして説明する。しかしながら、本発明の実施において測光値の取得単位はこれに限られるものである必要はなく、画像信号の全体を任意のサイズ及び形状を有する領域に分割し、分解能を下げた状態で生成するものであってもよいことは言うまでもない。

そしてＳ３０６において表示用画像信号への変換がなされた後、画像処理部２４はＳ７０２で、撮像により得られる画像信号のＤＲ設定をユーザに容易ならしめるための情報の提示を表示部２８を用いて行う。本実施形態における情報提示は、図８（ａ）に示されるように実施形態１の提示態様と、ポインタ６０４及び該ポインタ６０４の対応領域の測光値６０５がなく、測光値の分布情報に基づき画像処理部２４により生成されたヒストグラム８０１を含む点で異なる。このようにすることで、被写体に係る測光値の分布と選択ＤＲとを対比可能な情報提示を行うことができるため、結果、該分布をカバーするような好適なＤＲ設定をユーザに可能ならしめることができる。

［変形例１］
上述した実施形態２では、被写体の明るさの分布に係るヒストグラムを提示することで、選択ＤＲに該分布が含まれるか否かをユーザに提示するものとして説明した。しかしながら、ユーザは必ずしも全ての階調表現が撮像した画像信号においてなされることを所望しない可能性もある。即ち、選択ＤＲに対応する選択露出設定であっても、被写体の明るさの分布が、得られる画像信号においてある程度カバーされるのであれば、ユーザは露出設定を変更する必要がないとの判断を行う可能性もある。

従って、上記ヒストグラムに加え、あるいは代替して、画像処理部２４は測光値の分布情報に基づき、選択ＤＲに測光値が含まれている画素の数や、該画素の全画素数に対する割合を提示するよう画面を構成してもよい。あるいは、画像処理部２４は反対に、選択ＤＲに明るさが含まれていない画素の数やその割合を提示するよう画面を構成してもよい。図８（ｂ）は、ヒストグラムに加え、一時露出設定で撮像されて得られた画像信号に含まれる画素群のうち、選択ＤＲに含まれる画素の割合８０２を数値で提示した画面構成例である。このようにすることで、露出設定を変更しないことも含めて、好適なＤＲ設定をユーザに可能ならしめる情報提示を行うことができる。

［変形例２］
ところで、ＤＲを拡張する場合、露出をアンダーに設定（露出量を低減）したことによる光量の低下分を、ガンマ補正を適用することで、出力信号において、ＤＲに依らず均一な被写体輝度を担保するようにしている。即ち、ＤＲを拡張した際に行われるガンマ補正は、信号レベルの増幅率（ゲイン）を増大させていることに等しく、結果、出力信号におけるＳ／Ｎ比の低下に係る画質劣化を導きうる。換言すれば、所望の階調表現を担保しつつ画質劣化を低減するためには、所望の被写体の明るさ範囲を含むＤＲのうち、極力狭い範囲を示すＤＲを選択することが望ましい。

故に、画像処理部２４は、ＤＲ設定をユーザに容易ならしめるための情報の提示において、デジタルビデオカメラ１００が対応可能なＤＲの各々について、その境界値（最大値及び最小値）をさらに示すようにしてもよい。このようにすることで、複数種類のＤＲに対応する露出設定が存在していたとしても、ユーザは被写体の明るさの分布に応じて、該分布を範囲に含み、さらに信号レベルの増幅率を最小限に抑え得る露出設定を容易に理解することができる。またこのとき、信号レベルの増幅率を最小限に抑え得るダイナミックレンジ等、予め定められた条件を満たすダイナミックレンジを選択可能に表示し、該選択に係る操作入力があった場合にシステム制御部５０は対応する露出設定への変更を行う構成としてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１５：メモリ制御部、２２：撮像部、２４：画像処理部、３２：メモリ、５６：不揮発性メモリ、５０：システム制御部、１００：デジタルビデオカメラ

Claims (16)

1. 各々異なるダイナミックレンジに対応する複数の露出設定のうちから、１つの露出設定を選択する選択手段と、
   前記選択手段により選択された露出設定に対応する第１のダイナミックレンジよりも広い範囲を有する第２のダイナミックレンジに対応する露出設定で撮像して得られた画像信号に基づき、該画像信号の所定の領域の明るさを取得する取得手段と、
   前記取得手段により取得された前記所定の領域の明るさが前記第１のダイナミックレンジに含まれない場合に、その旨をユーザに認識させる情報を提示する提示手段と、
   を有することを特徴とする画像処理装置。
2. 前記提示手段は、前記所定の領域の明るさと前記第１のダイナミックレンジの境界値とがどの程度離れているかを示す情報を提示することを特徴とする請求項1に記載の画像処理装置。
3. 前記提示手段は、前記所定の領域の明るさを示す情報と前記第１のダイナミックレンジの境界値を示す情報とを提示することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記提示手段は、前記第２のダイナミックレンジを示すスケールにおいて、前記所定の領域の明るさの値を示す情報と、前記第１のダイナミックレンジの境界値を示す情報とを提示することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記提示手段は、前記複数の露出設定の各々に対応するダイナミックレンジについて、該ダイナミックレンジの境界値を示す情報をさらに提示することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記提示手段は、前記複数の露出設定の各々に対応するダイナミックレンジのうち、前記所定の領域の明るさを含み、所定の条件を満たすダイナミックレンジを選択可能にさらに提示することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記提示手段は、前記所定の領域に含まれる画素群の明るさの分布を示す情報と前記第１のダイナミックレンジの境界値を示す情報とを提示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記提示手段は、前記所定の領域に含まれる画素群のうち、明るさの値が前記第１のダイナミックレンジに含まれる画素の割合、及び明るさの値が前記第１のダイナミックレンジに含まれない画素の割合の少なくともいずれかを示す情報を提示することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記提示手段は、前記その旨をユーザに認識させる情報を、前記画像信号に基づく画像とともに表示装置に表示することで前記提示を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像信号を前記第１のダイナミックレンジで表現した画像信号に変換する変換手段をさらに有し、
    前記提示手段は、前記その旨をユーザに認識させる情報を、前記変換手段による変換後の画像信号に基づく画像とともに前記表示装置に表示する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記第２のダイナミックレンジは、前記複数の露出設定に対応するダイナミックレンジのうちの最大の明るさを範囲に含むダイナミックレンジであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記第２のダイナミックレンジは、前記画像信号を撮像する撮像装置における最大の範囲を有するダイナミックレンジであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 撮像手段と、
    請求項１乃至１２のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
14. 各々異なるダイナミックレンジに対応する複数の露出設定のうちから、１つの露出設定を選択する選択工程と、
    前記選択工程において選択された露出設定に対応する第１のダイナミックレンジよりも広い範囲を有する第２のダイナミックレンジに対応する露出設定で撮像して得られた画像信号に基づき、該画像信号の所定の領域の明るさを取得する取得工程と、
    前記取得工程において取得された前記所定の領域の明るさが前記第１のダイナミックレンジに含まれない場合に、その旨をユーザに認識させる情報を提示する提示工程と、
    を有することを特徴とする画像処理装置の制御方法。
15. 各々異なるダイナミックレンジに対応する複数の露出設定のうちから、１つの露出設定を選択する選択工程と、
    前記選択工程において選択された露出設定に対応する第１のダイナミックレンジよりも広い範囲を有する第２のダイナミックレンジに対応する露出設定で撮像して画像信号を出力する撮像工程と、
    前記撮像工程において出力された画像信号に基づき、該画像信号の所定の領域の明るさを取得する取得工程と、
    前記取得工程において取得された前記所定の領域の明るさが前記第１のダイナミックレンジに含まれない場合に、その旨をユーザに認識させる情報を提示する提示工程と、
    を有することを特徴とする撮像装置の制御方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。