JP2019205063A - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】異なる階調特性を有する複数の画像信号を扱う場合に、一方の画像信号の明るさを変更しても他方の画像信号の明るさに与える影響を低減することが可能な技術を提供する。【解決手段】実施形態に係る撮像装置は、第一の画像信号における第一の露出基準値と、第一の画像信号と階調特性の異なる第二の画像信号における第二の露出基準値とを設定する設定手段と、設定された第一の露出基準値に基づいて第一の画像信号の明るさを制御する明るさ制御手段と、階調変換特性を制御する制御手段と、明るさ制御手段の制御によって明るさの変更された画像信号を、階調変換特性を用いて第二の画像信号に変換する階調変換手段と、を有する。ここで、制御手段は、第一の露出基準値と第二の露出基準値の相違に応じて第二の画像信号の明るさの変化を抑制する階調変換特性を求める。【選択図】図２

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関する。

近年、ディスプレイの表示可能な輝度レンジの拡大に伴い、Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．２１００などのＨＤＲ（ハイダイナミックレンジ）規格に対応するディスプレイやカメラなどの機器が増加している。他方、従来のＳＤＲ（スタンダードダイナミックレンジ）規格のみに対応する機器も多数存在するため、映像制作者はＨＤＲ規格に対応した映像とＳＤＲ規格に対応した映像の両方を作成せざるを得ない場合がある。このような映像制作の負担を軽減するため、ＨＤＲ信号を入力し、ＳＤＲ信号に変換して出力する機能を備えた映像変換機器が提案されている（特許文献１）。特許文献１では、入力したＨＤＲ信号のコード値をＨＤＲのＥＯＴＦを用いて輝度値に変換し、変換した輝度値を予め関係付けられた別の輝度値に更に変換した後にＳＤＲのＥＯＴＦを用いてＳＤＲのコード値に変換する技術を提案している。なお、ＥＯＴＦ（Electro-Optical Transfer Functions）は、電気光伝達関数ともいわれる。

特許第５９４８６１８号公報

しかしながら、特許文献１で提案された技術では、輝度値同士の変換が予め関係付けられているためにＨＤＲの明るさを変更するとＳＤＲの明るさも連動して変化してしまう。ＨＤＲはダイナミックレンジが拡大しているため、撮影者の表現の意図に応じた撮影時の明るさの変更を許容する余地が大きい。一方、ＳＤＲは相対的に明るさの変更を許容する余地が小さいため、ＳＤＲの明るさがＨＤＲと連動する場合にはＳＤＲ側では意図しない白飛びなどが発生する恐れがある。

本発明は、上記課題に鑑みてなされ、その目的は、異なる階調特性を有する複数の画像信号を扱う場合に、一方の画像信号の明るさを変更しても他方の画像信号の明るさに与える影響を低減することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、第一の画像信号における第一の露出基準値と、前記第一の画像信号と階調特性の異なる第二の画像信号における第二の露出基準値とを設定する設定手段と、設定された前記第一の露出基準値に基づいて第一の画像信号の明るさを制御する明るさ制御手段と、階調変換特性を制御する制御手段と、前記明るさ制御手段の制御によって明るさの変更された画像信号を、前記階調変換特性を用いて前記第二の画像信号に変換する階調変換手段と、を有し、前記制御手段は、前記第一の露出基準値と前記第二の露出基準値の相違に応じて前記第二の画像信号の明るさの変化を抑制する前記階調変換特性を求める、ことを特徴とする。

本発明によれば、異なる階調特性を有する複数の画像信号を扱う場合に、一方の画像信号の明るさを変更しても他方の画像信号の明るさに与える影響を低減することが可能になる。

実施形態１における撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１における画像処理部、画像変換部、システム制御部及び操作部の機能構成例を示すブロック図 実施形態１における３次元ルックアップテーブルの一例を示す表 実施形態１における変換特性算出処理に係る一連の動作を示すフローチャート 実施形態１における第一階調変換部に設定する階調変換特性を説明する図 実施形態２における画像処理部、システム制御部及び操作部の機能構成例を示すブロック図 実施形態２における変換特性算出処理に係る一連の動作を示すフローチャート

＜実施形態１＞
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、画像信号の階調を変換可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、画像信号の階調を変換可能な他の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

（デジタルカメラの構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラの機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮影レンズ１０２は、ズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０３は光量調整に使用する絞りである。ＮＤ１０４は減光用に使用するＮＤフィルタである。撮像部１０５は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部１０５には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器１０６は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０６は、撮像部１０５から出力されるアナログ画像信号をデジタル画像信号に変換するために用いられる。バリア１０１は、デジタルカメラ１００の、撮影レンズ１０２を含む撮像系を覆うことにより、撮影レンズ１０２、絞り１０３、ＮＤ１０４、撮像部１０５を含む撮像系の汚れや破損を防止する。

画像処理部１１５は、Ａ／Ｄ変換器１０６からのデータ、又は、メモリ制御部１１６からのデータに対して色変換処理、ガンマ補正、デジタルゲインの付加等の様々な画像処理を行う。また、撮像した画像データを用いて所定の演算処理が行われ、演算結果をシステム制御部１１４に送信する。送信された演算結果に基づいてシステム制御部１１４が露出制御、測距制御をホワイトバランス制御等行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部１１５についての詳細は後述する。

Ａ／Ｄ変換器１０６からの出力データは、画像処理部１１５及びメモリ制御部１１６を介して、或いは、メモリ制御部１１６を介してメモリ１１９に直接書き込まれる。メモリ１１９は、撮像部１０５によって撮像されＡ／Ｄ変換器１０６によりデジタル信号に変換された画像信号や、表示部１１８に表示するための画像信号を格納する。メモリ１１９は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ１１９は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１１７は、メモリ１１９に格納されている画像表示用のデータをアナログ信号に変換して表示部１１８に供給する。こうして、メモリ１１９に書き込まれた表示用の画像データはＤ／Ａ変換器１１７を介して表示部１１８により表示される。表示部１１８は、例えばＬＣＤ等の表示器上を含み、当該表示器上に、Ｄ／Ａ変換器１１７からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０６によって一度Ａ／Ｄ変換されメモリ１１９に蓄積されたデジタル信号をＤ／Ａ変換器１１７においてアナログ変換し、表示部１１８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ１１３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１１３には、システム制御部１１４の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本発明の実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部１１４は、例えばＣＰＵ又はＭＰＵを含み、不揮発性メモリ１１３に記録されたプログラムをシステムメモリ１２１に展開、実行することにより、デジタルカメラ１００全体を制御とともに、後述する変換処理の動作を制御する。なお、システム制御部１１４は、画像処理部１１５の機能を兼ね備えてもよい。

システムメモリ１２１は、例えばＲＡＭを含み、システム制御部１１４の動作用の定数、変数、不揮発性メモリ１１３から読み出したプログラム等を展開する。また、システム制御部１１４はメモリ１１９、Ｄ／Ａ変換器１１７、表示部１１８等を制御することにより表示制御も行う。

システムタイマー１２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ１０９、録画スイッチ１０８、操作部１０７はシステム制御部１１４に各種の動作指示を入力するための操作手段である。

モード切替スイッチ１０９は、システム制御部１１４の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ１０９で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ１０９で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ１０８は撮影待機状態と撮影状態を切り替える。システム制御部１１４は、録画スイッチ１０８により、撮像部１０５からの信号読み出しから記録媒体１２３への動画データの書き込みまでの一連の動作を開始する。電源スイッチ１１０はデジタルカメラ１００の電源の入／切を切り替えるためのスイッチである。

操作部１０７の各操作部材は、表示部１１８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１１８に表示される。ユーザは、表示部１１８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。また、操作部１０７は、後述するように露出基準値を設定する設定手段として動作する。

電源制御部１１１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１１１は、その検出結果及びシステム制御部１１４の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２３を含む各部へ供給する。電源部１１２は、例えば、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１２２は、メモリカードやハードディスク等の記録媒体１２３、または外部出力機器とのインターフェースである。図１に示す例では、記録媒体１２３と接続した状態を示している。記録媒体１２３は、撮影された画像や映像を記録するための記録媒体であり、例えば半導体メモリや磁気ディスク等から構成される。

次に、図２を参照して、本実施形態における画像処理部１１５、画像変換部１２４、システム制御部１１４及び操作部１０７の機能構成例について説明する。

画像処理部１１５と画像変換部１２４に含まれる各ブロックは、システム制御部１１４を通じて、撮像装置内部のあらゆるデータ取得が可能である。

操作部１０７に含まれる露出基準値設定部２０６は、画像処理部１１５から出力される信号の露出基準値を設定する。一方、操作部１０７に含まれる露出基準値設定部２０９は、画像変換部１２４から出力される信号の露出基準値を設定する。露出基準値は、被写体の明るさ（被写体の反射率）と表示装置から出力される輝度（表示輝度）の対応を表す。

システム制御部１１４に含まれる明るさ制御部２０７は、露出基準値設定部２０６で設定された露出基準値に基づき、画像処理部１１５から出力される信号の明るさを制御する。システム制御部１１４は、画像処理部１１５から出力される信号の明るさを制御するために、撮像部１０５、絞り１０３、ＮＤ１０４、ゲイン調整部２０１、階調変換部２０３などを制御する。変換特性算出部２０８は、露出基準値設定部２０６と露出基準値設定部２０９とで設定された露出基準値を用いて、階調変換部２０４に設定する階調変換特性を算出する。

ゲイン調整部２０１は、Ａ／Ｄ変換器１０６から出力された信号に対して、ＲＧＢ信号それぞれ個別にゲインをかけることによってゲイン調整とホワイトバランス補正を行う。マトリクス演算部２０２は、ゲイン調整部２０１から出力されたＲＧＢ信号に対してマトリクスをかけることにより、色調を補正する。これにより、撮像部１０５などの分光感度などの違いを補正し、デジタルカメラ１００として適した色再現を実現する。

画像処理部１１５に含まれる階調変換部２０３は、マトリクス演算部２０２から出力されたＲＧＢ信号に対して共通の階調変換特性を適用して階調変換を行う。階調変換部２０３からの出力は画像変換部１２４やＩ／Ｆ１２２を通じて記録媒体１２３に出力される。

画像変換部１２４に含まれる階調変換部２０４は、システム制御部１１４から設定された階調変換特性を、画像処理部１１５から入力されたＲＧＢ信号のそれぞれに適用し、異なる階調特性を持つ信号を生成する。当該信号の生成は、一次元のルックアップテーブルを参照して階調特性変換が行われることが多いが、演算による階調特性変換の場合もある。

３ＤＬＵＴ処理部２０５は、例えば図３に示すような３次元ルックアップテーブルを参照して色変換を行って、変換後の画像信号を出力する。入力されたＲＧＢ値と同じＲＧＢ値が変換元のテーブルにある場合は変換先のＲＧＢ値にそのまま変換する。入力されたＲＧＢ値が変換元のテーブルに存在しない場合は入力されたＲＧＢ値を含むような近傍の複数点を変換元のテーブルから抽出し、補間により変換先のＲＧＢ値を求めて変換する。

（変換特性算出処理）
続いて、図４を参照して、画像変換部１２４における階調変換処理を決定するための変換特性算出処理について説明する。なお、本処理は、システム制御部１１４が、不揮発性メモリ１１３に記録されたプログラムをシステムメモリ１２１に展開、実行してデジタルカメラ１００の各部を制御することにより実現される。また、特に断らない場合、本処理の各ステップはシステム制御部１１４が実行するものとする。本処理は、例えば、システム制御部１１４が操作部１０７を介してユーザからの操作指示を受け付けた場合に開始される。

本実施形態ではＨＤＲ信号（第一の画像信号ともいう）からＳＤＲ信号（第二の画像信号ともいう）への変換処理の特性を算出する場合を例に説明する。しかし、ＳＤＲ信号からＨＤＲ信号への変換、ＨＤＲ信号同士の変換、ＳＤＲ信号同士の変換なども含んでよい。また、ＨＤＲ信号とＳＤＲ信号に限らず、対数の階調特性を持ったＬｏｇ信号なども含んでよい。なお、本実施形態においては３ＤＬＵＴ処理部２０５には予め階調変換を除く色補正処理のみを行う３ＤＬＵＴが固定で設定されているものとするが、本実施形態の処理と連動して３ＤＬＵＴの設定を変更する形態も含んでよい。

Ｓ４１では、露出基準値設定部２０６は、システム制御部１１４に、画像処理部１１５で生成するＨＤＲ信号の露出基準値（第一の露出基準値ともいう）を設定する。本実施形態では、例えば、反射率１８％の被写体を適正露出で撮影した場合に、この被写体の明るさを表示装置から何ｎｉｔの明るさで表示させるかを設定させる。但し、必ずしも反射率１８％を基準とする必要はなく任意の数値を基準としてよい。また、ユーザによる露出基準値設定部２０６を介した設定に限らず、システム制御部１１４が予め定められた値等を自動で設定してもよい。

Ｓ４２では、露出基準値設定部２０９は、システム制御部１１４に、画像変換部１２４から出力されるＳＤＲ信号の露出基準値（第二の露出基準値ともいう）を設定する。これはＳ４１と同様、本実施形態では、例えば、反射率１８％の被写体を適正露出で撮影したときに、この被写体の明るさを表示装置から何ｎｉｔの明るさで表示させるかを設定させる。但し、必ずしも反射率１８％を基準とする必要はなく任意の数値を基準としてよい。また、ユーザによる露出基準値設定部２０９を介した設定に限らず、システム制御部１１４が予め定めた値等を自動で設定してもよい。なお、本実施形態においてはＳＤＲ信号用の露出基準値では、反射率１８％の被写体が１８ｎｉｔの明るさで表示されるように設定されているものとする。

Ｓ４３では、システム制御部１１４（明るさ制御部２０７）は、Ｓ４１において設定されたＨＤＲ信号の露出基準値に基づき画像処理部１１５で生成する信号の明るさを制御する。ここでは、本実施形態においては反射率１８％の被写体が１８ｎｉｔの明るさで表示される状態から反射率１８％の被写体が３６ｎｉｔの明るさで表示される状態に変更する場合について考える。明るさを制御する方法としては、例えば、（ｉ）階調変換部２０３に設定する階調変換特性を変更する方法と、（ｉｉ）階調変換部２０３に設定する階調変換特性は変更せずに階調変換部２０３に対する入力値を変更する方法がある。

まず、図５（ａ）を参照して、（ｉ）階調変換部２０３に設定する階調変換特性を変更する方法について説明する。図５（ａ）は、階調変換部２０３に設定する階調変換特性を表す。図５（ａ）では、入力値５０１は、反射率１８％の被写体に対応する入力値を表す。また、出力値５０４は、１８ｎｉｔの明るさに対応する出力値を表し、出力値５０５は、３６ｎｉｔの明るさに対応する出力値を表す。また、入力最大値５０６は、入力値の最大値を表す。

第一階調変換特性５０２は、反射率１８％の被写体を１８ｎｉｔの明るさとして表示する階調変換特性である。すなわち、ＨＤＲ信号において、反射率１８％の被写体を１８ｎｉｔの明るさとして表示する場合、階調変換部２０３には第一階調変換特性５０２が設定されていることになる。なお、入力最大値５０６を超えても階調変換特性としては定義できるため、入力最大値５０６を超えた場合の出力値を点線で表している。

また、第二階調変換特性５０３は、反射率１８％の被写体を３６ｎｉｔの明るさとして表示する階調変換特性である。従って、ＨＤＲ信号において、階調変換部２０３に対して第二階調変換特性５０３を設定すれば反射率１８％の被写体が３６ｎｉｔの明るさとして表示されることになる。

このため、システム制御部１１４は、Ｓ４１で設定された露出基準値に応じて、予めシステムメモリ１２１に保持される変換特性（第一階調変換特性５０２や第二階調変換特性５０３等）を選択し、階調変換部２０３に設定する階調変換特性を変更する。或いは、システム制御部１１４は、基準の階調変換特性をもとに設定に対応する階調変換特性を算出してもよい。

次に、（ｉｉ）階調変換部２０３への入力値を変更して画像処理部１１５で生成する信号の明るさを制御する場合について説明する。図５（ｂ）は、図５（ａ）と同様に階調変換部２０３に設定する階調変換特性を表している。階調変換部２０３に設定する階調変換特性を変更する場合と同様、反射率１８％の被写体が１８ｎｉｔの明るさで表示されるように設定されている場合、入力値５０１は反射率１８％の被写体に対応する入力値である。

階調変換部２０３に対する入力値を変更して反射率１８％の被写体に対応する表示輝度を３６ｎｉｔにする場合、絞り１０３、ＮＤ１０４、撮像部１０５、ゲイン調整部２０１のうち少なくとも１つを制御する。これにより、反射率１８％に対応する入力値を入力値５０７に移動させる。すなわち、階調変換部２０３への入力値を変更することは、デジタルカメラ１００の適正露出を変更することに相当する。入力値５０７は、第一階調変換特性５０２によって３６ｎｉｔの明るさに対応する出力値である出力値５０５に対応付けられる。このため、反射率１８％の被写体がこの条件で撮影される場合、３６ｎｉｔの明るさで表示されるようになる。

このように、システム制御部１１４は、上述の（ｉ）又は（ｉｉ）の方法のいずれかによって、Ｓ４１において設定されたＨＤＲ信号の露出基準値に基づき画像処理部１１５で生成する信号の明るさを制御する。

Ｓ４４では、システム制御部１１４（変換特性算出部２０８）は、Ｓ４１で設定した露出基準値とＳ４２で設定した露出基準値との差から階調変換部２０３に設定する階調変換特性に含まれる利得を算出する。例えば、Ｓ４１において反射率１８％の被写体を３６ｎｉｔで表示するように露出基準値を設定し、Ｓ４２において反射率１８％の被写体を１８ｎｉｔで表示するように設定していたとする。
このとき、求める利得ｋは、
ｋ＝１８ｎｉｔ／３６ｎｉｔ＝０．５ 式（１）
となる。

Ｓ４５では、システム制御部１１４（変換特性算出部２０８）は、Ｓ４３において階調変換部２０３に設定した階調変換特性と、Ｓ４４により算出した利得と、ＳＤＲ信号の階調変換特性とを用いて、階調変換部２０４に設定する階調変換特性を算出する。ここで、Ｓ４３により制御した階調変換特性に対応する出力ＩＲＥ（白を０、黒を１００とする輝度の信号レベル）と反射率の関係を表すＥＯＴＦ（電気光伝達関数）をＥＯＴＦＨＤＲとする。また、ＳＤＲ信号に対応した出力ＩＲＥと反射率の関係を表すＥＯＴＦをＥＯＴＦＳＤＲとする。このとき、Ｓ４４で求めた利得ｋを用いて、ＨＤＲの出力ＩＲＥであるｘとＳＤＲの出力ＩＲＥであるｆ（ｘ）の関係は次式で表される。

式（２）では、例えば、ＨＤＲ信号の露出基準値が増加された場合、Ｓ４３で求めたＨＤＲ信号の明るさに、信号間の露出基準値の相違に応じた利得ｋ（この場合０＜ｋ＜１となる）が乗算される。すなわち、式（２）では、ＳＤＲ信号の明るさの変化は利得ｋによって抑制される（ＨＤＲ信号の変化の影響は利得ｋによって相殺される）。従って、ＳＤＲ信号の明るさは、ＨＤＲ信号の明るさによらずＳＤＲ信号の露出基準値に従う略一定に保たれる。また、Ｓ４３において、露出基準値の反映を上述の（ｉ）階調変換特性の変更、及び（ｉｉ）入力値の変更のどちらで行っていても出力ＩＲＥとしては同様であるため、式（３）に基づく階調変換特性はどちらの場合も変わらない。

Ｓ４６では、システム制御部１１４は、Ｓ４５において求めた階調変換特性を階調変換部２０４に設定する。このときＳ４５で求めた階調変換特性は、出力ＩＲＥ同士の変換特性であるため出力値同士の変換特性にする必要がある。出力値と出力ＩＲＥの関係は予め定められているため、例えばテーブル等に基づき変換を実行すればよい。これにより、ＨＤＲ信号の露出基準値の違いを階調変換部２０４において相殺することができるため、ＳＤＲ信号の明るさは略一定（すなわち、ＳＤＲ信号の明るさはＳＤＲに設定した適正露出で撮影された場合と同等）に保たれる。システム制御部１１４は、その後、本処理を終了する。

以上説明したように、本実施形態によれば、ＨＤＲ信号の露出基準値がユーザの操作等により変更された場合であっても、ＨＤＲ信号を変換して生成されるＳＤＲ信号の明るさの変動を低減し、明るさを維持することができる。そのため、ＨＤＲ信号の明るさを表現の意図により撮影者が変更した場合に、ＳＤＲ信号の明るさが連動して変化しＳＤＲ信号の輝度情報が破綻することを防止することができる。換言すれば、階調変換特性の異なる複数の画像信号を扱う場合に、変換元の画像信号の明るさを変更しても変換先の画像信号の明るさに与える影響を低減することが可能になる。また、ＳＤＲ信号に対する露出基準値を変更すればＳＤＲ信号の明るさをＨＤＲ信号とは独立して変更することができる。すなわち、ユーザはＨＤＲ信号とＳＤＲ信号の関係を意識せずに撮影を行うことができる。

＜実施形態２＞
次に、実施形態２について説明する。実施形態１では、ＨＤＲ信号をもとにＳＤＲ信号を生成する場合に、変換特性算出処理により、ＨＤＲ信号の露出基準値によらずＳＤＲ信号の明るさをＳＤＲ信号の露出基準値に基づく明るさに保つようにした。実施形態２では、ＨＤＲ信号とＳＤＲ信号とをそれぞれＡ／Ｄ変換器１０６からの出力をもとに生成する。この場合に、ＨＤＲ信号の露出基準値によらずＳＤＲ信号の明るさをＳＤＲ信号の露出基準値に基づく明るさに保つようにする。なお、本実施形態のデジタルカメラ１００は、システム制御部１１４、画像処理部１１５の一部構成が異なるが、その他の構成は実施形態１と同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。本実施形態では、画像処理部１１５においてＨＤＲ信号とＳＤＲ信号の両方を生成するため、画像変換部１２４では変換処理は行わないものとする。

まず、図６を参照して、本実施形態に係るシステム制御部１１４、及び画像処理部１１５の機能構成例について説明する。画像処理部１１５の各ブロックはシステム制御部１１４を通じて、撮像装置内部のあらゆるデータ取得が可能である。

システム制御部１１４の明るさ制御部６０８は、露出基準値設定部２０６で設定された露出基準値に基づき、階調変換部２０３から出力される画像信号の明るさを制御する。明るさを制御するために、撮像部１０５、絞り１０３、ＮＤ１０４、ゲイン調整部２０１、階調変換部２０３のうち少なくとも１つを制御する。明るさ制御部６０９は、露出基準値設定部２０６、露出基準値設定部２０９で設定された露出基準値に基づき、階調変換部６１２から出力されるＳＤＲ信号の明るさを制御する。この明るさを制御するために、ゲイン調整部６１０、階調変換部６１２のうち少なくとも１つを制御する。

ゲイン調整部６１０、マトリクス演算部６１１、階調変換部６１２は、ゲイン調整部２０１、マトリクス演算部２０２、階調変換部２０３と同一の構成を有する。本実施形態ではゲイン調整部２０１、マトリクス演算部２０２、階調変換部２０３の系でＨＤＲ信号を生成する。一方、ゲイン調整部６１０、マトリクス演算部６１１、階調変換部６１２の系でＳＤＲ信号を生成する。

（変換特性算出処理）
続いて、図７を参照して、階調変換部６１２における階調変換処理（明るさの制御）のための変換特性算出処理について説明する。本実施形態では階調変換部２０３からＨＤＲ信号を出力し、階調変換部６１２からＳＤＲ信号を出力する場合を例に説明する。しかし、ＨＤＲ信号とＳＤＲ信号が逆であってもよいし、両方ともＨＤＲ信号もしくはＳＤＲ信号であってもよい。また、ＨＤＲ信号とＳＤＲ信号に限らず、対数の階調特性を持ったＬｏｇ信号なども含んでよい。なお、本処理は、システム制御部１１４が、不揮発性メモリ１１３に記録されたプログラムをシステムメモリ１２１に展開、実行してデジタルカメラ１００の各部を制御することにより実現される。また、特に断らない場合、本処理の各ステップはシステム制御部１１４が実行するものとする。本処理は、例えば、システム制御部１１４が操作部１０７を介してユーザからの操作指示を受け付けた場合に開始される。

Ｓ４１〜Ｓ４２において、露出基準値設定部２０６及び露出基準値設定部２０９は、それぞれ実施形態１と同様に、ＨＤＲ及びＳＤＲのための露出基準値を設定する。

Ｓ７１では、システム制御部１１４（明るさ制御部６０８）は、Ｓ４１において設定されたＨＤＲ信号のための露出基準値に基づき、ＨＤＲ信号の明るさを制御する。明るさ制御の方法には、（ｉ）ゲイン調整部２０１、階調変換部２０３を制御して明るさを変更する方法と、（ｉｉ）撮像部１０５、絞り１０３、ＮＤ１０４を制御してＡ／Ｄ変換器１０６から出力される信号の明るさを変更する方法がある。システム制御部１１４は、Ｓ４３で説明した処理と同様に、これらのいずれかの方法を実行する。

Ｓ４４では、システム制御部１１４は、実施形態１と同様に、Ｓ４１で設定した露出基準値とＳ４２で設定した露出基準値との差から階調変換部６１２に設定する階調変換特性に含まれる利得を算出する。

Ｓ７２では、システム制御部１１４は、Ｓ４１とＳ４２により設定された露出基準値に基づき、ＳＤＲ信号の明るさを制御する。この制御は、Ｓ７１でどのようにＨＤＲ信号の明るさを制御したかによって制御方法が異なる。

まず、Ｓ７１において撮像部１０５、絞り１０３、ＮＤ１０４を制御してＨＤＲ信号の明るさを制御した場合について説明する。撮像部１０５、絞り１０３、ＮＤ１０４を用いてＨＤＲ信号の明るさを制御した場合、Ａ／Ｄ変換器１０６から出力される信号の明るさが変化することになるため、ゲイン調整部６１０に入力される信号の明るさが変化することとなる。これを露出基準値設定部２０９で設定した露出基準値に基づいた明るさにするためには、Ｓ４４で求めた利得を用いればよい。システム制御部１１４は、この利得をゲイン調整部６１０に設定してもよいし、ＳＤＲ信号の階調特性とこの利得とに基づく階調変換特性を階調変換部６１２に設定してもよい。

次に、ゲイン調整部２０１、階調変換部２０３を制御してＨＤＲ信号の明るさを制御した場合、ゲイン調整部６１０に入力される信号は露出基準値設定部２０６により設定されたＨＤＲ信号の露出基準値に依存しないことになる。そのため、Ｓ７１でＨＤＲ信号の明るさを制御した場合と同様に、露出基準値設定部２０９により設定されたＳＤＲ信号の露出基準値のみを参照してゲイン調整部６１０もしくは階調変換部６１２を制御すればよい。システム制御部１１４は、その後、本処理を終了する。

以上、本実施形態によれば、ＨＤＲ信号とＳＤＲ信号をそれぞれの系で生成する構成においても、ＨＤＲ信号の露出目標値によらずＳＤＲ信号の露出目標値に基づいてＳＤＲ信号の明るさを略一定に保つことができる。このため、実施形態１と同様、ＨＤＲ信号の明るさを表現の意図により撮影者が変更した場合に、ＳＤＲ信号の明るさが連動して変化しＳＤＲ信号の輝度情報が破綻することを防止することができる。換言すれば、異なる階調特性を有する複数の画像信号を扱う場合、一方の画像信号の明るさを変更しても他方の画像信号の明るさに与える影響を低減することが可能になる。また、ＳＤＲ信号の露出基準値を変更すればＳＤＲ信号の明るさをＨＤＲ信号とは独立して変更することができるため、撮影者はＨＤＲ信号とＳＤＲ信号の関係を意識せずに撮影を行うことができる。

（その他の実施形態）
実施形態１では、ＨＤＲ信号の露出基準値の反映（すなわちＨＤＲ信号の明るさ制御）を、階調変換部２０３に設定する階調変換特性を変更するか、階調変換部２０３への入力値を変更するかのいずれかで行う例を説明した。しかし、必ずしもどちらか一方である必要はなく、表示輝度として正しくなれば両者を組み合わせて行ってもよい。

また、実施形態１では、ＨＤＲ信号を変換してＳＤＲ信号を生成する場合に、ＨＤＲ信号の露出基準値を変更してもＳＤＲ信号の明るさを維持することができる制御について説明した。この制御は、ＨＤＲ信号をＳＤＲ信号よりも重視して撮影する場合に有効である。一方で、ＳＤＲ信号をＨＤＲ信号よりも重視して撮影したい場合も存在する。そのような場合には、ＳＤＲ信号を変換してＨＤＲ信号を生成するように信号処理の順序を入れ替える必要がある。具体的に、ＨＤＲ信号の露出基準値とＳＤＲ信号の露出基準値とを保ったまま処理順序を入れ替えることにより、ＨＤＲ信号とＳＤＲ信号の明るさを維持することができる。また、そしてＳ４４〜Ｓ４６の処理を行うことで、ＨＤＲ信号とＳＤＲ信号の露出基準値は互いに影響を与えずに独立して制御することが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７…操作部、１１４…システム制御部、１１５…画像処理部、１２４…画像変換部、２０３…階調変換部、２０４…階調変換部、２０７…明るさ制御部、２０８…変換特性算出部

Claims (13)

1. 第一の画像信号における第一の露出基準値と、前記第一の画像信号と階調特性の異なる第二の画像信号における第二の露出基準値とを設定する設定手段と、
   設定された前記第一の露出基準値に基づいて第一の画像信号の明るさを制御する明るさ制御手段と、
   階調変換特性を制御する制御手段と、
   前記明るさ制御手段の制御によって明るさの変更された画像信号を、前記階調変換特性を用いて前記第二の画像信号に変換する階調変換手段と、を有し、
   前記制御手段は、前記第一の露出基準値と前記第二の露出基準値の相違に応じて前記第二の画像信号の明るさの変化を抑制する前記階調変換特性を求める、ことを特徴とする撮像装置。
2. 前記階調変換手段は、前記明るさ制御手段の制御によって明るさの変更された前記第一の画像信号を、前記階調変換特性を用いて前記第二の画像信号に変換する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記第一の画像信号は第一の階調特性を、前記第二の画像信号は第二の階調特性をそれぞれ有し、
   前記制御手段は、前記相違に応じた利得を前記第一の露出基準値と前記第二の露出基準値から算出し、前記第一の階調特性と前記第二の階調特性と前記利得とに基づいて前記階調変換特性を求める、ことを特徴とする請求項２に記載の撮像装置。
4. 前記階調変換手段は、前記明るさ制御手段の制御によって明るさが変更されて撮像された画像信号を、前記階調変換特性を用いて前記第二の画像信号に変換する、ことを特徴とする請求項１に記載の撮像装置。
5. 前記第一の画像信号は第一の階調特性を、前記第二の画像信号は第二の階調特性をそれぞれ有し、
   前記制御手段は、前記相違に応じた利得を前記第一の露出基準値と前記第二の露出基準値から算出し、前記第二の階調特性と前記利得とに基づいて前記階調変換特性を求める、ことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記第二の階調特性に対応する電気光伝達関数の出力に前記利得をかけた値を用いて前記階調変換特性を求める、ことを特徴とする請求項３又は５に記載の撮像装置。
7. 前記明るさ制御手段は、前記第一の露出基準値に基づいて前記第一の階調特性を変更することにより、前記第一の画像信号の明るさを制御する、ことを特徴とする請求項３又は５に記載の撮像装置。
8. 前記第一の露出基準値に基づいて前記撮像装置の適正露出を変更する露出制御手段を更に有する、ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
9. 前記設定手段によって設定されるそれぞれの露出基準値は、被写体の明るさと表示装置から出力される輝度の対応を表す、ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記第一の画像信号はＨＤＲ信号であり、前記第二の画像信号はＳＤＲ信号である、ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記第一の画像信号と前記第二の画像信号のいずれかが対数の階調特性を有するＬｏｇ信号である、ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
12. 設定手段が、第一の画像信号における第一の露出基準値と、前記第一の画像信号と階調特性の異なる第二の画像信号における第二の露出基準値とを設定する設定工程と、
    明るさ制御手段が、設定された前記第一の露出基準値に基づいて第一の画像信号の明るさを制御する明るさ制御工程と、
    制御手段が、階調変換特性を制御する制御工程と、
    階調変換手段が、前記明るさ制御工程の制御によって明るさの変更された画像信号を、前記階調変換特性を用いて前記第二の画像信号に変換する階調変換工程と、を有し、
    前記制御工程では、前記第一の露出基準値と前記第二の露出基準値の相違に応じて前記第二の画像信号の明るさの変化を抑制する前記階調変換特性を求める、ことを特徴とする撮像装置の制御方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images