JP2020057039A

JP2020057039A - 画像処理装置およびその制御方法ならびにプログラム

Info

Publication number: JP2020057039A
Application number: JP2018184979A
Authority: JP
Inventors: 木村　直人; Naoto Kimura; 直人木村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-09-28
Filing date: 2018-09-28
Publication date: 2020-04-09
Anticipated expiration: 2038-09-28
Also published as: JP7257768B2

Abstract

【課題】予め用意するデータ量や調整する項目を増大させることなく、ガンマカーブによるガンマ処理や階調補正処理をより簡便な方法で実現する技術を提供する。【解決手段】実施形態に係る画像処置装置は、入力画像の信号を正規化する正規化特性を決定する第１決定手段と、画像の階調を補正する階調補正特性を決定する第２決定手段と、決定された正規化特性と階調補正特性とを用いて、入力画像に階調補正処理を行う補正処理手段と、階調補正処理のなされた画像に予め定められたガンマ特性を適用するガンマ処理手段と、を有する。ここで、予め定められたガンマ特性は、所定のダイナミックレンジの範囲で信号を出力するように構成された所定のガンマ特性に対して、基準の信号よりも高輝度の信号では該所定のガンマ特性の出力よりも広いダイナミックレンジの信号を出力するように構成されており、第１決定手段は、入力画像の信号のダイナミックレンジに対応する所定のガンマ特性に基づいて正規化特性を決定する。【選択図】図３

Description

本発明は、画像処理装置およびその制御方法ならびにプログラムに関する。

近年、ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現可能な画像を取得するＨＤＲ（ハイダイナミックレンジ）カメラシステムが提案されている。ＨＤＲカメラシステムでは、画像を出力する際の伝達関数として使用されるＯＥＴＦ（Opto-electronic transfer function、光電気伝達関数）が用いられる。ＯＥＴＦカーブは、ＨＤＲモニタで取り扱うＨＤＲ規格のＳＴ２０８４等に記載されたＥＯＴＦ（Electro-optical transfer function、電気光伝達関数）特性に対し、逆特性を示すカーブである。ＨＤＲカメラシステムにおいて、撮影された画像にＯＥＴＦカーブを用いた変換処理（以降、ガンマ処理ともいう）を施すことにより、ＨＤＲモニタで高輝度側の階調を表示することができる。

ＨＤＲカメラシステムでは、ＨＤＲモニタの高輝度出力を活用した階調補正を行うことが望まれるが、上述のＯＥＴＦカーブは視覚特性を考慮したカーブとなっているため、高輝度側の信号は少ない階調数で出力される。そのため、ガンマ処理を行った後にシーンに応じた階調補正を行うのは適切ではない。一方、ガンマ処理を行う前の段階で階調補正を行う場合、入力側のカメラの露出と、出力するＤ（ダイナミック）レンジに対応するＯＥＴＦカーブとの両方を考慮して階調補正の特性を作成する必要があるため、処理が複雑化する課題があった。

このような課題に対し、特許文献１には、ガンマカーブを予め複数持っておき、撮影シーンの被写体領域の明暗差に応じて複数のガンマカーブから補間して生成したカーブをガンマ処理に適用する技術が開示されている。

特開２０１４−１２１０１９号公報

しかしながら、特許文献１で開示される技術では、階調補正を含めたガンマカーブを被写体領域の明暗（単にシーンともいう）に応じて動的に変化させるため、色処理やエッジ強調処理などの現像処理もガンマカーブに合わせて調整する必要があった。また、予め用意した複数のガンマカーブをもとに補間して階調補正に最適な特性を生成するには限界があり、マッピングの操作性を向上させるためには、より多くのガンマカーブを用意する必要がある。

本発明は、上記課題に鑑みてなされ、その目的は、予め用意するデータ量や調整する項目を増大させることなく、ガンマカーブによるガンマ処理や階調補正処理をより簡便な方法で実現することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、入力画像の信号を正規化する正規化特性を決定する第１決定手段と、画像の階調を補正する階調補正特性を決定する第２決定手段と、決定された前記正規化特性と前記階調補正特性とを用いて、前記入力画像に階調補正処理を行う補正処理手段と、前記階調補正処理のなされた画像に予め定められたガンマ特性を適用するガンマ処理手段と、を有し、前記予め定められたガンマ特性は、所定のダイナミックレンジの範囲で信号を出力するように構成された所定のガンマ特性に対して、基準の信号よりも高輝度の信号では該所定のガンマ特性の出力よりも広いダイナミックレンジの信号を出力するように構成されており、前記第１決定手段は、前記入力画像の信号のダイナミックレンジに対応する前記所定のガンマ特性に基づいて前記正規化特性を決定する、ことを特徴とする。

本発明によれば、予め用意するデータ量や調整する項目を増大させることなく、ガンマカーブによるガンマ処理や階調補正処理をより簡便な方法で実現することが可能になる。

実施形態１におけるデジタルカメラの機能構成例を示すブロック図実施形態１における画像処理部の機能構成例を示すブロック図実施形態１における画像処理部による一連の動作を示すフローチャート本実施形態１における正規化特性について説明する図実施形態１における正規化処理後の信号を入力にした階調補正特性について説明する図実施形態１におけるガンマ特性について説明する図実施形態２における画像処理部の機能構成例を示すブロック図実施形態２における画像処理部による一連の動作を示すフローチャート実施形態２における正規化処理後の信号を入力にした階調補正特性について説明する図階調補正特性の一例について説明する図入力画像のＤレンジと、ＨＤＲモニタに対応するＥＯＴＦカーブの関係について説明した図

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮像した画像信号を階調変換することが可能なデジタルカメラを例に説明する。しかし、以下の実施形態は、デジタルカメラに限らず、撮像した画像を階調変換することが可能な他の電子機器にも適用可能である。これらの電子機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。また、以下の実施形態は、撮像する手段を備えておらず、外部で撮像された画像を取得して階調変換を適用することが可能な、パーソナルコンピュータやディスプレイ装置等の電子機器にも適用可能である。

（階調補正の概要）
まず、以下で説明する階調補正の概要について図１０を参照して説明する。図１０（ａ）〜（ｄ）は、階調補正特性を示しており、横軸は入力画像の明るさを絶対輝度で表現した値を示し、縦軸は出力画像を表示したときの明るさを絶対輝度で表現した値を示している。また、太線で示されたカーブ１００３〜１００６が入力画像から出力画像を生成するための階調補正特性を表している。

例えば、従来の階調補正処理では、図１０（ａ）の様に、コントラスト補正で一般的に使用されるＳ字カーブにおいて、１００１の様に高輝度領域と低輝度領域で階調圧縮が発生する領域があった。しかしながら、ＨＤＲモニタによって高輝度の階調表現が可能になってくると、図１０（ｂ）のカーブ１００４の様に出力の明るさを伸ばす（高輝度側の階調数を増加させる）ことによって階調圧縮を減らした階調補正処理が可能となる。図１０（ｃ）のようなハイライト・シャドウ補正で使用される一般的な逆Ｓ字特性の場合においても、同様である。中間輝度域１００２の様に階調圧縮によってコントラストが低下していた領域について、図１０（ｄ）に示す階調補正特性の様に出力の明るさを伸ばすことによって階調圧縮を減らした階調補正処理が可能となる。この様に、出力の明るさを伸ばす（階調数を増加させる）ことを念頭においた階調補正特性を生成して階調圧縮を出来る限り発生させない階調補正処理を実施する。

このような処理を実施するためには、出力の明るさを伸ばすＥＯＴＦカーブ（すなわち明るさの階調数が増大したガンマ特性）をガンマ処理で適用する必要がある。しかしながら、図１１に示すような入力画像のＤレンジに合わせたＥＯＴＦカーブを変化させるだけでなく、前述の理由により入力画像のＤレンジに合わせた階調補正処理をガンマ処理より前で実施することが望ましい。しかし、このようにするためには、作成したＥＯＴＦカーブを逆算して階調補正特性を生成する処理をシーン毎に実施する必要があり、制御が複雑化してしまう。従って、以下の実施形態では、ＥＯＴＦカーブをシーンや入力画像のＤレンジに応じて変更することなく、階調補正処理の制御だけで出力の明るさを伸ばす処理を実現する。

（実施形態１）
実施形態１に係る具体的な例について説明する。実施形態１は、ガンマ処理で使用するＥＯＴＦカーブを出力できる上限値まで伸ばしたカーブに固定し、入力画像のＤレンジと当該ガンマ処理に対応した正規化特性と、シーンに応じた階調補正特性を各々決定し、階調補正処理をガンマ処理の前段で実施する。

（デジタルカメラの構成）
次に、図１を参照して、本実施形態のデジタルカメラ１００の機能構成例について説明する。図１において、撮像レンズ１０３は、ズームレンズ、フォーカスレンズ、シフトレンズを含むレンズ群を構成し、被写体像を撮像部２２の撮像面に結像させる。絞り１０１は、光量調整に使用する絞りである。ＮＤ（ＮｅｕｔｒａｌＤｅｎｓｉｔｙ）フィルタ１０４は減光用に使用するフィルタを有する。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。また、撮像部２２は、電子シャッターによる撮像素子の電荷蓄積の制御や、アナログゲインの変更、読み出し速度の変更などの機能も備え、Ｒ，Ｇ，Ｂの３成分を画素ごとに含むアナログ画像信号を出力する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、デジタルカメラ１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３から出力される、Ｒ，Ｇ，Ｂの３成分を画素ごとに含むデジタル画像信号（単に画像データともいう）に対し、後述する階調補正に係る画像処理を施して、Ｒ，Ｇ，Ｂの３成分を含む階調変換後の画像データを出力する。また、撮像された画像データに基づく所定の演算処理を行い、演算結果を制御部５０に送信する。制御部５０は、送信された演算結果に基づいて、例えば露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。

ジャイロ４０は、手振れなどによるデジタルカメラ１００の動きや姿勢変化を検出する。制御部５０は、ジャイロ４０が検出した動き等に基づいて、撮像レンズ１０３のシフトレンズを動作させるか、もしくは画像処理部２４で画像をずらすことで像振れ補正を行う。

メモリ制御部１５は、メモリ３２へのデータの書き込みやメモリ３２からのデータの読み出しを制御する。例えば、メモリ制御部１５は、Ａ／Ｄ変換器２３からの出力データを直接、或いは画像処理部２４を介してメモリ３２に書き込む。

メモリ３２は、撮像部２２によって撮像されてＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。このようにして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等によって構成される表示器を含み、表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２から出力された画像信号をＡ／Ｄ変換器２３やメモリ制御部１５を介して表示部２８に逐次表示することで、電子ビューファインダが実現され、スルー画像表示を行うことができる。なお、表示部２８は、必ずしもデジタルカメラ１００に含まれなくてもよい。表示部２８がデジタルカメラ１００に含まれない場合であっても、デジタルカメラ１００は当該表示部に表示させる画像又は表示内容を制御するための表示制御手段（例えば制御部５０）を有していればよい。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、制御部５０の動作用の定数、プログラム等が記憶される。

制御部５０は、ＣＰＵ或いはＭＰＵを含み、プログラムをシステムメモリ５２に展開、実行されることにより、デジタルカメラ１００全体の動作を制御する。システムメモリ５２には、制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。制御部５０が画像処理部２４の機能を兼ね備え、画像処理部２４の代わりに各種画像処理に係る演算を行ってもよい。システムタイマー５３は、デジタルカメラ１００における各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、録画スイッチ６１、操作部７０は、制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替えるためのユーザからの操作指示を受け付ける。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判定モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０を操作することにより、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り替えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は、撮影待機状態と撮影状態とを切り替えるための操作指示を受け付ける。制御部５０は、録画スイッチ６１がＯＮされると、撮像部２２からの信号読み出しから記録媒体２００への動画データの書込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして動作する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞り込みボタン、属性変更ボタン等を含む。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。また、操作部７０は、タッチパネルを含んでもよい。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及び制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、例えば、アルカリ電池やリチウム電池などの一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池などの二次電池、ＡＣアダプター等からなる。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００や、外部表示装置３００とのインターフェースであり、デジタルカメラ１００からの所定のデータを外部表示装置３００等に出力するための出力手段として機能する。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。なお、記録媒体２００は、着脱可能に構成されてよい。

外部表示装置３００は、例えば高輝度の階調表現が可能なＨＤＲモニタを含み、撮像系を通って撮像された後に画像処理部２４によって処理された画像データをＩ／Ｆ１８から受け取って画像データを表示する。

（画像処理部の構成及び階調変換処理に係る一連の動作）
次に、図２及び図３を参照して、本実施形態に係る画像処理部２４の構成と階調変換処理に係る一連の動作について説明する。上述したように、画像処理部２４は、Ｒ，Ｇ，Ｂの３成分で構成された画像データ（入力画像）を入力して画像処理を施し、画像データ（出力画像）を出力する。画像処理部２４は、図２に示すように、正規化特性決定部２０１、正規化処理部２０２、階調補正特性決定部２０３、階調補正処理部２０４、及び、ガンマ処理部２０５を含む。なお、図２には、画像処理部２４が含む本実施形態に係る主要な構成のみを開示しているが、他の構成、例えばＡＦを実行するための構成など他の機能を発揮するための構成を含み得る。また、以下の説明では、画像処理部２４は、ハードウェアによって構成されている場合を例に説明する。しかし、画像処理部２４がＣＰＵやＧＰＵなどのプログラマブルプロセッサで構成され、内部の不揮発性メモリ（不図示）からプログラムを内部の揮発性メモリ（不図示）に展開、実行することにより画像処理部２４の機能を実現してもよい。図２に示す各構成の説明は、以下の図３を参照して説明する画像処理部２４の一連の動作の説明において合わせて説明する。

Ｓ３０１では、正規化特性決定部２０１は、別途後述する後段のガンマ処理で用いるＥＯＴＦ特性と入力画像のＤレンジとに応じて、入力画像の信号を正規化するための正規化特性を決定する。この正規化特性は、入力画像のＤレンジが変化しても、後段において固定したＥＯＴＦ特性を用いてガンマ処理を行えるように、入力画像の信号値を変換する特性を持つ。本実施形態に係る正規化特性は、例えば図４に示すようになる。ここで、図４の横軸は入力画像の信号値を表し、縦軸は正規化済の出力値を表している。正規化特性４０１、４０２、４０３は、それぞれ、入力画像のＤレンジが１００％の時、２００％の時、４００％の時に対応する正規化特性を示している。なお、本実施形態では、デジタルカメラ１００を用いて適正露出で撮影した際の入力画像のＤレンジを１００％としており、２００％、４００％は、適正露出からそれぞれ１段、２段露出をアンダーにして撮影した入力画像のＤレンジを表している。

図４に示すように、正規化特性は出力値が基準信号値（基準白）Ｔの部分までは直線の特性を持ち、基準信号値Ｔよりも高い信号値は徐々に曲線になっていく特性を持つ。Ｄレンジ１００％の場合の正規化特性４０１は、入力値の大きさが基準信号値Ｔまではそのままの信号値を出力する傾き１倍の直線の特性を有する。一方、基準信号値Ｔよりも高い信号値は入力値が最大値である信号値ＭＡＸＤレンジ１００％の最大値を示したＭＡＸ_１００に向かっていく特性を持つ。また、Ｄレンジ２００％の場合の正規化特性４０２は、入力値の大きさが基準信号値Ｔ/２までは傾き２倍の直線の特性を有する。一方、基準信号値Ｔ/２よりも高い信号値は入力値が最大値である信号値ＭＡＸでＤレンジ２００％の最大値を示したＭＡＸ_２００になる特性を持つ。ここで、ＭＡＸ＿２００はＭＡＸ＿１００より高い信号値である。同様に、Ｄレンジ４００％の時の正規化特性３０３は、入力値の大きさが基準信号値Ｔ/４までは傾き４倍の直線の特性を有する。一方、基準信号値Ｔ/４よりも高い信号値は入力値が最大値である信号値ＭＡＸでＤレンジ４００％の最大値を示したＭＡＸ_４００になる特性を持つ。ここで、ＭＡＸ＿４００はＭＡＸ＿２００より高い信号値である。本実施形態ではＤレンジ４００％を出力画像の最大値としているため、入力値が最大値である信号値ＭＡＸとＤレンジ４００％の最大値を示したＭＡＸ_４００は同じ値となる。正規化特性決定部２０１は、このような正規化特性を入力画像のＤレンジに応じて選択する。すなわち、入力画像の信号のＤレンジに対応する所定のＥＯＴＦ特性に基づいて正規化特性を決定する。

Ｓ３０２では、正規化処理部２０２は、Ｓ３０１で決定された正規化特性を用いて、入力画像に対して正規化処理を行う。正規化処理は、正規化特性を用いたテーブル変換である。入力画像の信号をin、正規化処理後の画像信号をin_normとすると、正規化特性 y = norm_tbl(x)を用いた正規化処理は式（１）に従って演算される。なお、本実施形態では、式（１）の処理は入力画像Ｒ，Ｇ，Ｂの信号の全てに適用される。

in_norm = norm_tble(in) ……（１）

Ｓ３０３では、階調補正特性決定部２０３は、Ｓ３０２で正規化処理された入力画像の信号と正規化特性とに基づいて、被写体領域の明暗（シーン）に応じた階調補正特性を決定する。本実施形態では、図５に示すような、正規化処理後の信号を入力とした階調補正特性をまず作成する。図５から明らかであるように、決定される階調補正特性は、入力画像のＤレンジにおける最大の信号値を超える信号値を出力可能な階調補正特性となる。そして、この階調補正特性と正規化特性を合成することにより最終的な階調補正特性を決定する。最終的な階調補正特性out = hosei_tbl (in)は、以下の式（２）に従って算出することができる。ここで、正規化処理後の信号を入力とした階調補正特性をy = hosei_tbl_norm(x)、正規化特性 y = norm_tbl(x)、入力画像の信号をin、階調補正後の信号をoutとする。

out = hosei_tbl (in) = hosei_tbl_norm(norm_tbl(in)) ……（２）

本実施形態では、式（２）の処理は入力画像Ｒ，Ｇ，Ｂの信号全てに適用される。なお、正規化処理後の信号を入力とした階調補正特性の算出方法については、例えば、特開２０１５−１９５４９８号公報に記載される、公知のヒストグラムを用いた方法を用いることができる。

Ｓ３０４では、階調補正処理部２０４は、Ｓ３０３において決定された階調補正特性を用いて入力画像に対し階調補正処理を行う。後述する本実施形態の階調補正処理では、式（３）に従って得られる輝度信号Y_inを用いる。R_in, G_in, B_inは、入力画像の同じ画素位置のＲ、Ｇ，Ｂの入力信号である。

Y_in = 0.263 × R_in + 0.678 × G_in + 0.059 × B_in ……（３）

次に、式（３）に従って生成した輝度信号Y_inを入力として、式（４）に従ってゲイン信号を入力画像の信号に乗算する。これは、式（２）で変換した階調補正後の信号からゲイン信号を生成して、入力画像の信号に乗算することにより行う。式（４）のinは入力画像のＲ、Ｇ，Ｂの信号、outは階調補正処理後のＲ、Ｇ，Ｂの信号を表す。

式（３）及び式（４）に示したように、輝度信号を用いた階調補正処理を行うことで、入力画像の色相を変えずに階調補正処理を行うことができる。しかしながら、必ずしも輝度信号を用いる必要はなく、式（３）に従って生成した輝度信号を用いること無く入力画像のＲ，Ｇ，Ｂ信号の最大値を用いて式（４）を適用した階調補正処理を行っても良い。また、式（２）の階調補正特性をそのまま入力画像の信号に適用して、階調補正処理を行っても良い。

Ｓ３０５では、ガンマ処理部２０５は、Ｓ３０４で階調補正処理を行った後の画像に対し、固定された（すなわち予め定められている）ＥＯＴＦ特性を用いてガンマ処理を行う。図６は、本実施形態で使用するＥＯＴＦ特性の一例を示している。図中のＴ、ＭＡＸ_１００〜ＭＡＸ_４００は、Ｓ３０１で上述した正規化特性と同様に、基準信号値Ｔ，Ｄレンジ１００％の信号最大値ＭＡＸ_１００，Ｄレンジ２００％の信号最大値ＭＡＸ_２００，Ｄレンジ４００％の信号最大値ＭＡＸ_４００を表す。図６に示すように、固定されたＥＯＴＦ特性６０１は、基準信号値Ｔまでは、Ｄレンジ１００％時のＥＯＴＦ特性と同様のカーブを描く。また、入力信号値がＭＡＸ_１００時にはＤレンジ１００％時のＥＯＴＦ特性６０２の最大値、入力信号値がＭＡＸ_２００時にはＤレンジ２００％時のＥＯＴＦ特性６０３の最大値を通過する。そして、入力信号値がＭＡＸ_４００時にはＤレンジ４００％時のＥＯＴＦ特性６０４の最大値を通過する。すなわち、ＥＯＴＦ特性６０１は、低輝度側では、狭いＤレンジ１００％時と同等の出力になるカーブであり、高輝度側では、広いＤレンジ４００％時と同等の出力になるような特性を有する。つまり、固定されたＥＯＴＦ特性は、所定のＤレンジの範囲で信号を出力する所定のＥＯＴＦ特性６０２〜６０４に対して、基準信号よりも高輝度の信号では当該所定のＥＯＴＦ特性の出力よりも広いダイナミックレンジの信号を出力するように構成されている。このようなＥＯＴＦ特性を用いることにより、前述した図５の階調補正特性のように出力値が入力画像のＤレンジの最大値よりも大きくなった場合であっても対応することができる。画像処理部２４は、その後、ガンマ処理部２０５から出力されたガンマ変換後の信号を出力して、本一連の動作を終了する。

なお、上述の説明では、各機能ブロックが式（１）〜（４）に従って値を算出する場合を例に説明した。しかし、上記算出を予め行っておいて結果をテーブルとして不揮発性メモリ５６等に保持し、上述の各ステップでは保持したテーブルを参照して算出結果を得るようにして上述の各特性を決定してもよい。

以上説明したように本実施形態では、入力画像のＤレンジに応じた正規化処理を行って階調補正を行った後で、固定のガンマカーブでガンマ処理を行うようにした。このとき、高輝度になるにつれ通常よりも広Ｄレンジを想定したガンマカーブに固定したうえで、ガンマ処理より前段の階調補正処理において階調を動的に制御するようにした。このようにすることで、階調補正処理のマッピングが容易になる。すなわち、出力するＤレンジに応じたガンマカーブの出力輝度を考慮して予め用意するデータ量や調整する項目を増大させることなく、ＯＥＴＦ特性によるガンマ処理や階調補正処理をより簡便な方法で実現することができる。

（実施形態２）
次に、実施形態２の構成について説明する。実施形態２は、輝度信号の出力信号と色差信号の出力信号とで異なる階調補正特性を用いる点が実施形態１と異なる。すなわち、本実施形態では、階調補正処理を行っても彩度が過度に高くなることのない出力画像を生成することができる。なお、本実施形態２は、画像処理部の構成が実施形態１と異なるがデジタルカメラ１００の構成は実質的に同一である。従って、実質的に同一の構成及び同一の処理には同一の参照符号を付して重複する説明は省略し、異なる点を重点的に説明する。

以下、図７を参照して、実施形態２に係る画像処理部２４について説明する。実施形態１の画像処理部の構成と異なる点は、まず、出力画像が輝度信号で構成されたＹ画像と、色差信号で構成されたＵＶ画像である点である。次に、画像処理部２４が、Ｙ画像とＵＶ画像を出力するために、輝度用に輝度用階調補正処理部７０２、輝度用ガンマ処理部７０４を備え、また、色差信号用に色用階調補正処理部７０３、色用ガンマ処理部７０５をそれぞれ備える点である。最後に、画像処理部２４が、輝度用、色用に生成されたＲＧＢ信号からＹ信号及びＵＶ信号を生成するための、Ｙ信号生成処理部７０６、ＵＶ信号生成処理部７０７を備える点が異なる。

図８は、実施形態２の画像処理部２４に係る一連の動作を示している。以下、図７及び図８を参照して実施形態２に係る階調変換処理に係る一連の動作を説明する。まず、画像処理部２４は、Ｓ３０１〜Ｓ３０２の処理を、実施形態１と同様に実行する。

Ｓ８０１では、階調補正特性決定部７０１は、輝度用と色用とでそれぞれ階調補正特性を生成する。階調補正特性の生成方法については実施形態１のステップＳ３０３の処理と同様であるが、輝度用の階調補正特性と色用の階調補正特性で異なる特性を用いる点が異なる。本実施形態における階調補正特性について図９を参照して説明する。

図９は、正規化処理後の信号を入力とした階調補正特性を輝度用の階調補正特性９０１と色用の階調補正特性９０２で表している。輝度用の階調補正特性９０１は実施形態１の階調補正特性と同様に、入力信号の値が大きくなる程、細い点線で示した入力信号の値よりも大きい出力になるような特性を描く。これに対し、色用の階調補正特性９０２は、カーブの変曲点が輝度用の階調補正特性９０１と同様であるが、入力信号の値が大きくなっても、細い点線で示した入力信号の値よりも大きくならないような特性を描く。このようにすることで、彩度が過度に高くなることのない出力画像を生成することができる。

Ｓ８０２では、輝度用諧調補正処理部７０２と色用諧調補正処理部７０３とがそれぞれ入力画像に対して、輝度用、色用の階調補正特性でそれぞれ階調補正処理を行い、輝度用の画像と色用の画像とを生成する。なお、階調補正処理の方法については、実施形態１におけるＳ３０４の処理と実質的に同様である。

Ｓ８０３では、輝度用ガンマ処理部７０４と色用ガンマ処理部７０５は、Ｓ８０２で生成した輝度用の画像と色用の画像に対し、固定されたＥＯＴＦ特性でガンマ処理を行う。ＥＯＴＦ特性については、実施形態１における実質的にＳ３０５の処理と同様である。なお、本実施形態では、輝度用と色用のＥＯＴＦ特性は同じ特性のものを使用するが、彩度や色相をコントロールする為に色用のＥＯＴＦ特性を、輝度用のＥＯＴＦ特性に対して一部変化させても良い。

Ｓ８０４では、Ｙ信号生成処理部７０６とＵＶ信号生成処理部７０７は、Ｓ８０３でガンマ処理を行った輝度用の画像、色用の画像をそれぞれ入力として、ＹＵＶ画像を生成する処理を行う。輝度用の画像信号をR_Y、G_Y、B_Yとし、色用の画像信号をR_C、G_C、B_Cとすると、出力画像のＹ信号Y_out、Ｕ信号U_out、Ｖ信号V_outは式（５）に従って生成される。

Y_out = 0.263 × R_Y + 0.678 × G_Y + 0.059 × B_Y
U_out = -0.140 × R_C + 0.360 × G_C + 0.500 × B_C …………（５）
V_out = 0.500 × R_C - 0.460 × G_C - 0.040 × B_C

画像処理部２４は、Ｙ、ＵＶ信号の画像を出力すると、出力画像階調変換処理に係る一連の動作を終了する。

以上説明したように本実施形態では、画像の輝度と色差とのそれぞれに対する階調補正特性を決定するようにした。特に、輝度に対する階調補正特性の出力が色差に対する階調補正特性の出力以上であって、入力画像の信号値が大きくなるほど差が大きくになるように、それぞれの階調補正特性を決定するようにした。換言すれば、色差に対する階調補正特性については、入力信号の値が大きくなっても、入力信号の値よりも変換した信号値が大きくならないような特性になるようにした。このようにすることで、彩度が過度に高くなることのない出力画像を生成することができるようになる。また、上述した実施形態では、予め固定したＥＯＴＦカーブをシーンや入力画像のＤレンジに応じて変えることなく、階調補正処理の制御によって高輝度側の出力信号の明るさを伸ばす階調補正処理を実現するようにした。このようにすることで、予め持っておくデータ量や調整する項目を増やさずに、ＯＥＴＦカーブによるガンマ処理、階調補正処理におけるマッピングの操作性を向上させることが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１…正規化特性決定部、２０２…正規化処理部、２０３…階調補正特性決定部、２０４…階調補正処理部、２０５…ガンマ処理部

Claims

入力画像の信号を正規化する正規化特性を決定する第１決定手段と、
画像の階調を補正する階調補正特性を決定する第２決定手段と、
決定された前記正規化特性と前記階調補正特性とを用いて、前記入力画像に階調補正処理を行う補正処理手段と、
前記階調補正処理のなされた画像に予め定められたガンマ特性を適用するガンマ処理手段と、を有し、
前記予め定められたガンマ特性は、所定のダイナミックレンジの範囲で信号を出力するように構成された所定のガンマ特性に対して、基準の信号よりも高輝度の信号では該所定のガンマ特性の出力よりも広いダイナミックレンジの信号を出力するように構成されており、
前記第１決定手段は、前記入力画像の信号のダイナミックレンジに対応する前記所定のガンマ特性に基づいて前記正規化特性を決定する、ことを特徴とする画像処理装置。
前記ガンマ処理手段は、前記入力画像のダイナミックレンジが異なる場合であっても同一の前記予め定められたガンマ特性を用いる、ことを特徴とする請求項１に記載の画像処理装置。
前記第２決定手段は、前記入力画像のダイナミックレンジの範囲における最大の信号値を超える信号値を出力可能な階調補正特性を決定する、ことを特徴とする請求項１又は２に記載の画像処理装置。
前記第２決定手段は、画像の輝度と色差とのそれぞれに対する階調補正特性を決定する、ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記第２決定手段は、前記輝度に対する階調補正特性の出力が前記色差に対する階調補正特性の出力以上であり、前記入力画像の信号値が大きくなるほど前記輝度に対する階調補正特性の出力と前記色差に対する階調補正特性の出力の差が大きくになるように、それぞれの階調補正特性を決定する、ことを特徴とする請求項４に記載の画像処理装置。
前記第２決定手段は、前記入力画像に対して前記正規化特性が適用された信号値に基づいて前記階調補正特性を決定する、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記補正処理手段は、前記入力画像の信号の輝度信号と前記階調補正特性とに基づいて生成したゲイン信号を前記入力画像の信号に乗算する、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記予め定められたガンマ特性は、ダイナミックレンジごとに定まる出力の最大値のそれぞれを出力可能に構成される、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
第１決定手段が、入力画像の信号を正規化する正規化特性を決定する第１決定工程と、
第２決定手段が、画像の階調を補正する階調補正特性を決定する第２決定工程と、
補正処理手段が、決定された前記正規化特性と前記階調補正特性とを用いて、前記入力画像に階調補正処理を行う補正処理工程と、
ガンマ処理手段が、前記階調補正処理のなされた画像に予め定められたガンマ特性を適用するガンマ処理工程と、を有し、
前記予め定められたガンマ特性は、所定のダイナミックレンジの範囲で信号を出力するように構成された所定のガンマ特性に対して、基準の信号よりも高輝度の信号では該所定のガンマ特性の出力よりも広いダイナミックレンジの信号を出力するように構成されており、
前記第１決定工程では、前記入力画像の信号のダイナミックレンジに対応する前記所定のガンマ特性に基づいて前記正規化特性を決定する、ことを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させる、ためのプログラム。