JP7344648B2

JP7344648B2 - 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体

Info

Publication number: JP7344648B2
Application number: JP2019027651A
Authority: JP
Inventors: 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2023-09-14
Anticipated expiration: 2039-02-19
Also published as: JP2020136890A

Description

本発明は、画像を階調変換する技術に関するものである。

従来、デジタルカメラ等の撮像装置で撮影した画像に対して、撮像装置の特性および撮影条件を加味して、色に応じて異なるゲインをかけてカラーバランスを調整するホワイトバランスゲイン処理が行われている。しかしながら、入力画像の時点で白黒被写体の持つ信号のうち、Ｇ信号が飽和レベルに達している場合には、正しい色比率で信号が入力されない。そのため、ホワイトバランスゲイン処理を行っても、Ｒ，Ｇ，Ｂ信号の値が揃わず、色付きが発生してしまう。この色付きを抑制するために、従来は、他の色信号の信号値もＧ信号の飽和レベルで一律クリップすることにより対処していたが、高輝度側の階調が失われてしまうといった課題があった。

この課題に対し、入力された信号値を拡張し、色信号毎の飽和レベルを調整することにより、色付きを発生させずに高輝度側の階調を保持する技術が知られている。例えば、特許文献１では、入力画像のダイナミックレンジ拡張の上限値（拡張上限値）を決定し、各色信号の高輝度域の信号レベルを調整した後、飽和レベルの高い信号で、飽和レベルの低い信号を置換し、拡張上限値が白色となるようにする技術が提案されている。

特開２０１５－１５６６１６号公報

しかしながら、上述の特許文献１に開示された従来技術では、拡張上限値が白色になるよう、各色の高輝度域の階調特性を変換する。そのため、同一色相で明るさが連続的に変化する被写体では、中間から高輝度域の色信号のＲＧＢ組成比が変動し、被写体本来の色味と異なってしまうという画質劣化（色曲り）が発生する場合がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、入力画像に対して、色曲りを抑制しながら高輝度側のダイナミックレンジを拡張することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、複数の色信号を持った画像信号である入力画像を入力する入力手段と、前記入力画像に対して、ホワイトバランス調整を行うホワイトバランス処理手段と、ホワイトバランス処理後の信号に対し、第１の色空間においてダイナミックレンジを拡張する第１の拡張処理を行う第１の拡張処理手段と、前記第１の拡張処理が行われた後の信号を第２の色空間の信号に変換する変換手段と、前記変換手段により前記第２の色空間に変換された信号に対し、前記第２の色空間においてダイナミックレンジをさらに拡張する第２の拡張処理を行う第２の拡張処理手段と、を備え、前記第１の拡張処理手段は、前記ホワイトバランス処理手段において、等倍のゲインが掛けられた色、もしくは最も小さいゲインが掛けられた色を基準色とし、それ以外の色を非基準色とした場合に、前記非基準色を参照して前記入力画像における前記基準色のダイナミックレンジを拡張することを特徴とする。

本発明によれば、入力画像に対して、色曲りを抑制しながら高輝度側のダイナミックレンジを拡張することが可能となる。

本発明の画像処理装置の一実施形態である撮像装置の構成を示すブロック図。画像処理部の構成を示すブロック図。撮像素子に入力される光量と入力画像のＲＧＢの信号値の関係を示した図。ホワイトバランスゲインを適用した後の信号レベルの一例を示す図。第１の拡張処理部の動作を示すフローチャート。第１の信号拡張量の重み特性を示す図。第１の拡張処理部の出力信号の特性の一例を示す図。第２の拡張処理部の拡張特性を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の画像処理装置の一実施形態である撮像装置の構成を示すブロック図である。図１において、撮像装置１００は、撮像素子１１１、メカニカルシャッター１１３、カメラ制御部１１４、画像処理部１１５、操作部１１７、表示部１１８、記録メディア１１９を有する。また、被写体像を結像させる撮影光学系として、集光レンズ１２１、絞り１２２、フォーカスレンズ１２３、レンズ制御部１２４を有する。

ユーザーは、操作部１１７の不図示のＡＦ開始ボタン、撮影開始ボタン等を操作することにより、カメラ制御部１１４およびレンズ制御部１２４の制御内容を指定し、ＡＦ動作、撮影動作などを行うことができる。また、操作部１１７にはメニューボタンおよびコントロールボタンも配置されており、メニュー画面を表示部に表示させて、静止画撮影や動画撮影などのカメラの動作内容を設定することができる。

図２は、図１に示した画像処理部１１５の構成を示すブロック図である。本実施形態の画像処理部１１５では、ユーザーの指示、または、入力画像の特徴解析結果に基づいて、入力画像の高輝度側のダイナミックレンジを拡張する。

図２において、画像処理部１１５の画像入力端子２００には、１画素につきＲ，Ｇ，Ｂの３色全ての信号値を持った画像信号が入力される。システム制御部１１４は、撮像装置１００全体を制御するとともに、画像処理部１１５を制御する。また、システム制御部１１４では、ユーザーの操作または、画面内の入力画像の輝度や色信号の分布の解析結果に基づいて、入力画像の高輝度側ダイナミックレンジ拡張時の拡張上限値を決定し、第２の拡張処理部２０５に送出する。さらに、システム制御部１１４では、入力画像をＭ×Ｎ個の矩形領域に分割し、分割領域ごとのＲＧＢ信号の積算値を算出し、それらの比率から、入力画像に適用するホワイトバランスゲインを算出し、ホワイトバランスゲイン処理部２０２に送出する。

ホワイトバランスゲイン処理部２０２は、画像入力端子２００から入力された画像に対し、Ｒ，Ｇ，Ｂそれぞれの信号について、システム制御部１１４で決定されたホワイトバランスゲインを適用して、ホワイトバランス調整を行う。

第１の拡張処理部２０３は、ホワイトバランスゲイン処理後のＲ，Ｂ信号を参照し、ＲＧＢ色空間で、Ｒ，Ｇ，Ｂの色比が著しく変動しないよう、高輝度域のＧ信号を拡張する処理を行う。色空間変換処理部２０４は、第１の拡張処理部２０３から出力される拡張後のＲＧＢ色空間の信号を、ＹＵＶ色空間の信号に変換する。

第２の拡張処理部２０５は、ＹＵＶ色空間において、あらかじめ設定された現像レンジまで、高輝度域のＹＵＶ信号の振幅を拡張する処理を行う。画像出力端子２０６は、第２の拡張処理部２０５による処理後のＹＵＶ信号を出力する。

次に図３～図８を参照して、本実施形態における画像処理部１１５の各処理ブロックの動作について説明する。なお、図２において、画像入力端子２００から入力される入力画像は、撮像素子１１１によって生成される。撮像素子１１１には、カラーフィルタが配置されており、被写体からの光を分光して、Ｒ，Ｇ，Ｂの各信号値を出力する。Ｒ，Ｇ，Ｂの各信号レベルは、撮像素子１１１に入力される光量に応じて決まり、あらかじめ定められた所定の飽和レベルＴＨ０で、信号の上限値がクリップされる。

図３は、撮像素子１１１に入力される光量と、画像入力端子２００から入力される入力画像のＲＧＢ信号値の関係の一例を示した図である。Ｐｉｎ＿Ｒ，Ｐｉｎ＿Ｇ，Ｐｉｎ＿Ｂは、それぞれＲ，Ｇ，Ｂ信号に対応する。横軸は、撮像素子１１１に入力される光量、縦軸は、入力画像のＲＧＢ各信号レベルの一例を示しており、撮像素子１１１に入力される光量に応じて、入力画像のＲＧＢ値が所定の比率で変化している。Ｇ信号は撮像素子１１１に入力される光量がＢＶ０以上になると、撮像素子１１１からの出力信号レベルがＴＨ０で飽和する。一方、Ｒ，Ｂ信号は、カラーフィルタの分光感度がＧよりも低いため、撮像素子１１１に入力される光量が、ＢＶ０以上の値でも、撮像素子１１１からの出力信号レベルが飽和しない。

次に、ホワイトバランスゲイン処理部２０２の動作について説明する。

入力画像のＲ，Ｇ，Ｂの信号値をそれぞれＰｉｎ＿Ｒ，Ｐｉｎ＿Ｇ，Ｐｉｎ＿Ｂとすると、ホワイトバランスゲイン処理後の信号Ｐ１＿Ｒ，Ｐ１＿Ｇ，Ｐ１＿Ｂは、式（１）～（３）の様に表される。ＷＢ＿Ｒ，ＷＢ＿Ｇ，ＷＢ＿Ｂはホワイトバランスゲインの係数である。

Ｐ１＿Ｒ＝ＷＢ＿Ｒ × Ｐｉｎ＿Ｒ …（１）
Ｐ１＿Ｇ＝ＷＢ＿Ｇ × Ｐｉｎ＿Ｇ …（２）
Ｐ１＿Ｂ＝ＷＢ＿Ｂ × Ｐｉｎ＿Ｂ …（３）
本実施形態ではＧ信号を基準に、Ｒ，Ｂ信号に対してホワイトバランスゲインを適用し、ホワイトバランスを調整する。したがって、式（１）～（３）において、ホワイトバランスゲインの基準色であるＧ信号のゲインＷＢ＿Ｇの値は１（等倍）となり、それ以外の非基準色であるＲ，ＢのゲインＷＢ＿Ｒ，ＷＢ＿Ｂの値は１よりも大きい値となる。

図４は、ホワイトバランスゲインを適用した後の信号レベルの一例を示す図である。横軸が撮像素子１１１に入力される光量、縦軸は、画像入力端子２００から入力されるＲＧＢ各信号に対して、式（１）～（３）でホワイトバランスゲインを適用した後の信号レベルを示している。図４において、ＢＶ０以上の光量の被写体では、撮像素子１１１の出力飽和とホワイトバランス処理後のクリップ処理によって、Ｇ信号（Ｐ１＿Ｇ）が飽和している。しかし、Ｒ信号（Ｐ１＿Ｒ）、Ｂ信号（Ｐ１＿Ｂ）については、センサ飽和レベルＴＨ０以上の階調特性を維持している。

ここで、システム制御部１１４において、入力画像に対するダイナミックレンジ拡張の拡張上限値がＴＨ＿ｍａｘに設定されているものとする。その場合、最も飽和レベルの高いＲ信号（Ｐ１＿Ｒ）に近づくよう、Ｇ，Ｂの高輝度域の信号を拡張すると、高輝度域のＲＧＢ比が変動し、色曲りが発生してしまう。そこで、本実施形態では、拡張上限値に対して、ＲＧＢ色空間とＹＵＶ色空間の２段階に分けて、信号レベルの拡張を行う。これにより、高輝度域での色比の変動を抑制しつつ、最終的な画像出力の輝度が所望の拡張上限値に達するよう処理を行う。

具体的には、まず、第１の拡張処理部２０３において、ＲＧＢ色空間で、色比がなるべく変動しないよう、Ｒ信号、Ｂ信号を参照しながら、高輝度域のＧ信号の拡張を行う。その後、拡張後のＲＧＢ信号を、色空間変換処理部２０４で、ＹＵＶ色空間に変換し、第２の拡張処理部２０５において、出力輝度の最大値が拡張上限値になるよう、ＹＵＶ空間で高輝度域の信号を拡張する。以下、より具体的に説明する。

まず、第１の拡張処理部２０３の動作について説明する。第１の拡張処理部２０３では、ＲＧＢ空間で、ホワイトバランス処理後のＲ，Ｂの信号値を維持し、Ｇ信号のみ高輝度域の信号を拡張する。Ｇ信号の拡張処理の一例として、本実施形態では、Ｒ－Ｇ色差、Ｂ－Ｇ色差を生成するためのＧ信号をそれぞれ独立に拡張し、拡張後に２種類のＧ信号の平均値を求める処理を行う。

以下の説明において、Ｐ２＿Ｒ、Ｐ２＿Ｇ、Ｐ２＿Ｂは、それぞれ、第１の拡張処理部２０３から出力されるＲ信号、Ｇ信号、Ｂ信号である。また、Ｐ２＿ＧＲ、Ｐ２＿ＧＢは、拡張後のＧ信号生成のために中間的に生成される、Ｒ－Ｇ色差生成用のＧ信号、Ｂ－Ｇ色差生成用のＧ信号である。

図５は、第１の拡張処理部２０３の動作を示すフローチャートである。

図５において、Ｓ７００で処理を開始し、ホワイトバランスゲイン処理後のＲＧＢ信号を第１の拡張処理部２０３に入力する。Ｓ７０１では、第１の拡張処理部２０３の出力のＲ信号としてホワイトバランスゲイン処理後のＲ信号をそのまま出力する。Ｓ７１１では、第１の拡張処理部２０３の出力のＢ信号としてホワイトバランスゲイン処理後のＢ信号をそのまま出力する。

Ｓ７０２からＳ７０８は、Ｒ－Ｇ色差生成用のＧ信号の拡張処理の流れを示す。この処理フローにおいては、Ｒ信号をＧ信号の拡張の目標信号とし、Ｇ信号が所定の閾値以上であり、かつＲ信号以下である場合に拡張処理を行う。

Ｓ７０２では、ホワイトバランスゲイン処理後のＲ，Ｇ信号を参照する。Ｓ７０３では、Ｇ信号の信号値が拡張処理を開始する閾値以上であるか否かを判定する。閾値以上である場合には、Ｓ７０４に進み、閾値未満である場合には、Ｓ７０７に進む。Ｓ７０７では、拡張処理前のＧ信号をＲ－Ｇ色差生成用のＧ信号として選択する。

Ｓ７０４では、Ｇ信号の信号値がＲ信号以下か否かを判定し、Ｒ信号以下の場合にはＳ７０５に進む。Ｇ信号の信号値がＲ信号よりも大きい場合には、Ｓ７０７に進み、拡張処理前のＧ信号をＲ－Ｇ色差生成用のＧ信号として選択する。

Ｓ７０５では、Ｒ信号を参照して、式（４）または式（５）に示す処理を行い、Ｒ－Ｇ色差生成用のＧ信号レベルの拡張を行う。

Ｐ２＿ＧＲ＝(Ｐ１＿Ｒ－Ｐ１＿Ｇ)＊ｆ((Ｐ１＿Ｇ－ＴＨ＿ｔ１)／(ＴＨ＿ｔ２－ＴＨ＿ｔ１))＋Ｐ１＿Ｇ …（４）
Ｐ２＿ＧＲ＝Ｐ１＿Ｒ …（５）
式（４）は、拡張対象のＧ信号の信号レベルがＲ信号よりも低く、かつＧ信号の飽和レベルに達していない場合に適用される。式（４）において、ＴＨ＿ｔ１は、Ｇ信号の拡張処理を開始する信号レベルを示す。また、ＴＨ＿ｔ２は、Ｇ信号の拡張前の飽和レベルを示す。すなわち、Ｇ信号の信号レベルが、ＴＨ＿ｔ１からＴＨ＿ｔ２に変化するまでの間に、ｆ((Ｐ１＿Ｇ－ＴＨ＿ｔ１)／(ＴＨ＿ｔ２－ＴＨ＿ｔ１))で決まる重みによって、ホワイトバランス処理後のＧ信号の信号レベルＰ１＿Ｇを、拡張目標の信号レベルＰ１＿Ｒに近づけるよう、拡張処理を行い、Ｐ２＿ＧＲとして出力する。このときの拡張処理の重みｆ(ｘ)は、入力をｘ、出力をｙとすると、例えば図６のような特性となる。

ここで、式（４）の処理により、Ｐ２＿ＧＲの信号レベルが拡張目標の信号レベルを超える場合には、式（５）が適用され、Ｒ信号が出力される。また、Ｇ信号の信号レベルがＲ信号よりも低いが、Ｇ信号の飽和レベルに達している場合にも、式（５）が適用され、Ｒ－Ｇ色差生成用のＧ信号としてＲ信号が出力される。

Ｓ７０６では、Ｐ２＿ＧＲをＲ－Ｇ色差生成用のＧ信号として選択する。Ｓ７０８では、Ｓ７０７または７０６から出力されるＧ信号のいずれかを、Ｒ－Ｇ色差生成用のＧ信号であるＧ１信号として選択し、Ｓ７１９に進む。

ここで、Ｒ－Ｇ色差生成用のＲ信号、Ｇ信号の一例を図７（ａ）に示す。図７（ａ）において、Ｐ２＿Ｒは、拡張目標の信号であるので、第１の拡張処理前後で信号レベルは変わらず、ホワイトバランスゲイン処理後のＲ信号Ｐ１＿Ｒと等しくなる。また、Ｇ信号は、拡張開始の信号レベルＴＨ＿ｔ１を超えたところから徐々に信号レベルが拡張され、Ｒ信号を超えないようにＲ信号に漸近し、ＴＨ＿ｔ３以降はＲ信号（Ｐ２＿Ｒ）と等しくなる。

図５の説明に戻って、Ｓ７１２からＳ７１８は、Ｂ－Ｇ色差生成用のＧ信号の拡張処理の流れを示す。この処理フローにおいては、Ｂ信号をＧ信号の拡張の目標信号とし、Ｇ信号が所定の閾値以上であり、かつＢ信号以下である場合に拡張処理を行う。

Ｓ７１２では、ホワイトバランスゲイン処理後のＢ，Ｇ信号を参照する。Ｓ７１３では、Ｇ信号の信号値が拡張処理を開始する閾値以上であるか否かを判定する。閾値以上である場合には、Ｓ７１４に進み、閾値未満である場合には、Ｓ７１７に進む。Ｓ７１７では、拡張処理前のＧ信号をＢ－Ｇ色差生成用のＧ信号として選択する。

Ｓ７１４では、Ｇ信号の信号値がＢ信号以下か否かを判定し、Ｂ信号以下の場合にはＳ７１５に進む。Ｇ信号の信号値がＢ信号よりも大きい場合には、Ｓ７１７に進み、拡張処理前のＧ信号をＢ－Ｇ色差生成用のＧ信号として選択する。

Ｓ７１５では、Ｂ信号を参照して、式（６）または式（７）に示す処理を行い、Ｂ－Ｇ色差生成用のＧ信号レベルの拡張を行う。

Ｐ２＿ＧＢ＝(Ｐ１＿Ｂ－Ｐ１＿Ｇ)＊ｆ((Ｐ１＿Ｇ－ＴＨ＿ｔ１)／(ＴＨ＿ｔ２－ＴＨ＿ｔ１))＋Ｐ１＿Ｇ …（６）
Ｐ２＿ＧＢ＝Ｐ１＿Ｂ …（７）
式（６）は、拡張対象のＧ信号の信号レベルがＢ信号よりも低く、かつＧ信号の飽和レベルに達していない場合に適用される。式（６）において、ＴＨ＿ｔ１は、Ｇ信号の拡張処理を開始する信号レベルを示す。また、ＴＨ＿ｔ２は、Ｇ信号の拡張前の飽和レベルを示す。すなわち、Ｇ信号の信号レベルが、ＴＨ＿ｔ１からＴＨ＿ｔ２に変化するまでの間に、ｆ((Ｐ１＿Ｇ－ＴＨ＿ｔ１)／(ＴＨ＿ｔ２－ＴＨ＿ｔ１))で決まる重みによって、ホワイトバランス処理後のＧ信号の信号レベルＰ１＿Ｇを、拡張目標の信号レベルＰ１＿Ｂに近づけるよう、拡張処理を行い、Ｐ２＿ＧＢとして出力する。このときの拡張処理の重みｆ(ｘ)は、入力をｘ、出力をｙとすると、例えば図６のような特性となる。

ここで、式（６）の処理により、Ｐ２＿ＧＢの信号レベルが拡張目標の信号レベルを超える場合には、式（７）が適用され、Ｂ信号が出力される。また、Ｇ信号の信号レベルがＢ信号よりも低いが、Ｇ信号の飽和レベルに達している場合にも、式（７）が適用され、Ｂ－Ｇ色差生成用のＧ信号としてＢ信号が出力される。

Ｓ７１６では、Ｐ２＿ＧＢをＢ－Ｇ色差生成用のＧ信号として選択する。Ｓ７１８では、Ｓ７１７またはＳ７１６から出力されるＧ信号のいずれかを、Ｂ－Ｇ色差生成用のＧ信号であるＧ２信号として選択し、Ｓ７１９に進む。

ここで、Ｂ－Ｇ色差生成用のＢ信号、Ｇ信号の一例を図７（ｂ）に示す。図７（ｂ）において、Ｐ２＿Ｂは、拡張目標の信号であるので、第１の拡張処理前後で信号レベルは変わらず、ホワイトバランスゲイン処理後のＢ信号Ｐ１＿Ｂと等しくなる。また、拡張目標のＢ信号が拡張対象のＧ信号の飽和レベルを超えるところから、拡張対象のＧ信号はＢ信号に置換される。

Ｓ７１９では、Ｒ－Ｇ色差生成用のＧ信号Ｇ１と、Ｂ－Ｇ色差生成用のＧ信号Ｇ２の平均値を算出し、最終的な第１の拡張処理部２０３のＧ信号として出力する。

図７（ｃ）に、第１の拡張処理後のＲ，Ｇ，Ｂ信号の一例を示す。図７（ｃ）において、Ｐ２＿Ｇは、Ｒを参照したＧ信号の拡張結果と、Ｂを参照したＧ信号の拡張結果の平均値となる特性で拡張されている。そのため、図３に示す第１の拡張処理前のＲ，Ｇ，Ｂ信号と比べても、明るさに対するＲＧＢの色比が著しく変動せず、信号のダイナミックレンジをＴＨ＿０から、ＴＨ＿３まで拡張することができている。

次に、色空間変換処理部２０４の処理内容について説明する。色空間変換処理部２０４では、第１の拡張処理後のＲＧＢ信号、Ｐ２＿Ｒ，Ｐ２＿Ｇ，Ｐ２＿Ｂを用いて、式（８）～式（１０）の演算を行い、輝度・色差信号ＹＵＶを生成する。

Ｙ＝ａ＊Ｐ２＿Ｒ^γ＋ｂ＊Ｐ２＿Ｇ^γ＋ｃ＊Ｐ２＿Ｂ^γ …（８）
Ｖ＝ｐ＊(Ｐ２＿Ｒ^γ－Ｐ２＿ＲＧ^γ)＋ｑ＊(Ｐ２＿Ｂ^γ－Ｐ２＿ＢＧ^γ) …（９）
Ｕ＝ｒ＊(Ｐ２＿Ｂ^γ－Ｐ２＿ＢＧ^γ)＋ｓ＊(Ｐ２＿Ｒ^γ－Ｐ２＿ＲＧ^γ) …（１０）
式（８）～式（１０）において、γは、入力される拡張後の信号に対して適用されるガンマ変換処理の特性を示す係数であり、例えばγ＝０.４５となる。ａ，ｂ，ｃは、ガンマ変換後のＲＧＢ信号から輝度信号を生成するためのマトリクス係数であり、ａ＋ｂ＋ｃ＝１となるような係数が適用される。ｐ，ｑ，ｒ，ｓは、γ変換後のＲＧＢ信号から色差信号を生成するためのマトリクス係数である。マトリクス係数ｐ，ｑ，ｒ，ｓは、ＢＴ.６０１、ＢＴ.７０９など出力の映像信号規格と画質調整の要素に鑑みて、適宜調整されるものとする。

次に、第２の拡張処理部２０５の処理内容について説明する。第２の拡張処理部２０５では、色空間変換処理部２０４から出力されるＹＵＶ信号に対して、式（１１）～式（１３）に示す演算を行う。そして、システム制御部１１４で設定された拡張上限値に対応するＹＵＶ信号、Ｙ＿ｏｕｔ，Ｕ＿ｏｕｔ，Ｖ＿ｏｕｔを生成する。

Ｙ＿ｏｕｔ＝Ｙ＊ｇ(Ｙ) …（１１）
Ｕ＿ｏｕｔ＝Ｕ＊ｇ(Ｙ)＊ｋ …（１２）
Ｖ＿ｏｕｔ＝Ｖ＊ｇ(Ｙ)＊ｋ …（１３）
式（１１）～式（１３）において、ｇ（Ｙ）は、色空間変換処理部２０４から出力される、第１の拡張処理後の輝度値Ｙに応じて決まる、ＹＵＶ信号の振幅変調特性である。輝度値Ｙに対するゲインの特性を、図８に示す。

ここでＲＧＢのうち、輝度信号に対して組成比が最も大きいのはＧ信号であるため、Ｇ信号に基づいて、図８の特性を決める。図８において、振幅変調の開始輝度レベルｘ１と終了輝度レベルｘ２は、Ｇ信号に対する第１の拡張処理の下限拡張レベルＴＨ＿ｔ１、Ｇ信号に対する第１の拡張処理の上限拡張レベルＴＨ＿ｔ３を設定する。

また、図８において、振幅変調ゲインの下限は、１.０であり、振幅変調ゲインの上限は、パラメータｙ１，ｙ２の比で決まる。ｙ１には、Ｇ信号に対する第１の拡張の上限拡張レベルＴＨ＿ｔ３が設定され、ｙ２には、システム制御部１１４から送出された、拡張上限値ＴＨ＿ｍａxが設定される。すなわち、振幅変調ゲインｇ(Ｙ)は、輝度Ｙがｘ１からｘ２までの範囲で１.０から徐々に増大し、最終的に、上限値ｙ２／ｙ１＝ＴＨ＿mａx／ＴＨ＿ｔ３となる。

このように目標値との差分に応じて算出された拡張量である、ゲインｇ(Ｙ)を用いて、色空間変換処理部２０４から出力されるＹＵＶ信号の振幅がそれぞれ変調される。また、Ｕ，Ｖ信号に対しては、輝度信号Ｙと独立に彩度を微調整できるよう、式（１２）、式（１３）では、任意の係数ｋが設定される。

以上の処理により、本実施形態では、ＲＧＢ色空間とＹＵＶ色空間の２段階に分けて、信号レベルの拡張を行うことにより、高輝度域での色比の変動を抑制しつつ、入力画像に対して、あらかじめ設定された、所望の上限輝度値を実現することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１１４：システム制御部、１１５：画像処理部、２０２：ホワイトバランスゲイン処理部、２０３：第１の拡張処理部、２０４：色空間変換処理部、２０５：第２の拡張処理部

Claims

複数の色信号を持った画像信号である入力画像を入力する入力手段と、
前記入力画像に対して、ホワイトバランス調整を行うホワイトバランス処理手段と、
ホワイトバランス処理後の信号に対し、第１の色空間においてダイナミックレンジを拡張する第１の拡張処理を行う第１の拡張処理手段と、
前記第１の拡張処理が行われた後の信号を第２の色空間の信号に変換する変換手段と、
前記変換手段により前記第２の色空間に変換された信号に対し、前記第２の色空間においてダイナミックレンジをさらに拡張する第２の拡張処理を行う第２の拡張処理手段と、
を備え、
前記第１の拡張処理手段は、前記ホワイトバランス処理手段において、等倍のゲインが掛けられた色、もしくは最も小さいゲインが掛けられた色を基準色とし、それ以外の色を非基準色とした場合に、前記非基準色を参照して前記入力画像における前記基準色のダイナミックレンジを拡張することを特徴とする画像処理装置。
前記入力画像に対して、ダイナミックレンジを拡張する上限値を設定する設定手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
前記第２の拡張処理手段は、前記第２の色空間の輝度が、前記上限値に達するように、前記第２の色空間に変換された信号のダイナミックレンジを拡張することを特徴とする請求項２に記載の画像処理装置。
前記第２の拡張処理手段は、前記第１の拡張処理手段により拡張処理が行われた後の信号値と、前記上限値との差分に基づいて、ダイナミックレンジの拡張量を決定することを特徴とする請求項３に記載の画像処理装置。
前記上限値は、前記入力画像の画像信号の飽和レベルよりも高い輝度レベルであることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
前記第１の色空間は、ＲＧＢ色空間であり、前記第２の色空間は、輝度信号と、第１の色差信号、第２の色差信号から構成される色空間であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記第２の色空間はＹＵＶ色空間であることを特徴とする請求項６に記載の画像処理装置。
被写体像を撮像する撮像手段と、
請求項１乃至７のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
複数の色信号を持った画像信号である入力画像を入力する入力工程と、
前記入力画像に対して、ホワイトバランス調整を行うホワイトバランス処理工程と、
ホワイトバランス処理後の信号に対し、第１の色空間においてダイナミックレンジを拡張する第１の拡張処理を行う第１の拡張処理工程と、
前記第１の拡張処理が行われた後の信号を第２の色空間の信号に変換する変換工程と、
前記変換工程において前記第２の色空間に変換された信号に対し、前記第２の色空間においてダイナミックレンジをさらに拡張する第２の拡張処理を行う第２の拡張処理工程と、
を有し、
前記第１の拡張処理工程では、前記ホワイトバランス処理工程において、等倍のゲインが掛けられた色、もしくは最も小さいゲインが掛けられた色を基準色とし、それ以外の色を非基準色とした場合に、前記非基準色を参照して前記入力画像における前記基準色のダイナミックレンジを拡張することを特徴とする画像処理方法。
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。