JP6924081B2

JP6924081B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体

Info

Publication number: JP6924081B2
Application number: JP2017119885A
Authority: JP
Inventors: 田島　香; 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-06-19
Filing date: 2017-06-19
Publication date: 2021-08-25
Anticipated expiration: 2037-06-19
Also published as: JP2019004426A; US10440343B2; US20180367780A1

Description

本発明は、撮像された画像信号の階調特性をＨＤＲモニタに出力するのに適した階調特性に変換する技術に関するものである。

近年、ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できるＨＤＲ（ハイダイナミックレンジ）カメラシステムが提案されている。また、ＳＴ２０８４、ＢＴ．２１００などのように、ＨＤＲモニタで取り扱う映像信号の色空間、階調圧縮の規格も規定されつつある。

カメラ内でＨＤＲ規格に対応した映像信号を生成する場合、光学系、撮像素子を介して取得された入力画像に対して、ＨＤＲに対応するように階調変換を行った後、輝度信号と色差信号を分離して、映像信号を出力する。ＨＤＲモニタでは、カメラから出力される映像信号を受けて、ＲＧＢまたはＸＹＺなどの表示処理用の色空間に変換した後、ＨＤＲ規格に対応したモニタ側の階調変換を適用し、表示する。

従来、カメラ側の処理として、人間の視覚特性を考慮し、色と輝度の出力がそれぞれ最適になるような画像処理が提案されている（特許文献１）。

特許第３９１９３８９号公報

特許文献１に開示されている画像処理装置では、色差出力用の信号処理（色系信号処理）と、輝度出力用の信号処理（輝度系信号処理）を、それぞれ最適化している。したがって、色系信号処理において入力画像から分離される輝度成分と、輝度系信号処理において入力画像から生成される輝度成分との間に、振幅レベルの差が発生する場合がある。特に、ＳＴ２０８４などのＨＤＲ規格に対応した階調変換特性は、暗部の立ち上がりが急峻であるため、輝度成分の振幅レベルの差が階調変換によって強調される場合がある。その結果、カメラから出力される映像信号をＨＤＲモニタ内で表示のための色空間に変換する際、カメラ内で発生した輝度振幅レベルの差が表示用の色空間内で偽信号を生成し、画質を著しく損なうという課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、輝度系と色系でそれぞれ最適化した階調変換処理を行う場合に、輝度成分の振幅レベル差の増大を抑制できるようにした画像処理装置を提供することである。

本発明に係わる画像処理装置は、入力画像信号から、所定の周波数振幅特性に基づいて高周波成分と低周波成分を分離する第１の分離手段と、前記低周波成分から、輝度信号用の色信号成分を生成する第１の生成手段と、前記低周波成分から、色差信号用の色信号成分を生成する第２の生成手段と、前記第１の生成手段の出力と前記第２の生成手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、前記第３の生成手段の出力に対して第１の階調変換処理を行う第１の階調変換手段と、前記第１の階調変換手段により処理された後の信号から輝度信号と色差信号を生成する色輝度分離手段と、前記高周波成分に対して第２の階調変換を行う第２の階調変換手段と、前記色輝度分離手段の出力と前記第２の階調変換手段の出力とを合成する合成手段と、を備えることを特徴とする。

本発明に係わる画像処理装置は、入力画像信号から、所定の周波数振幅特性に基づいて高周波成分と低周波成分を分離する第１の分離手段と、前記低周波成分から、輝度信号用の色信号成分を生成する第１の生成手段と、前記低周波成分から、色差信号用の色信号成分を生成する第２の生成手段と、前記輝度信号用の色信号成分に対して第３の階調変換処理を行う第３の階調変換手段と、前記色差信号用の色信号成分に対して第４の階調変換処理を行う第４の階調変換手段と、前記第３の階調変換手段の出力と前記第４の階調変換手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、前記第３の生成手段の出力に対して第１の階調変換処理を行う第１の階調変換手段と、前記第１の階調変換手段により処理された後の信号から輝度信号と色差信号を生成する色輝度分離手段と、前記高周波成分に対して第２の階調変換を行う第２の階調変換手段と、前記色輝度分離手段の出力と前記第２の階調変換手段の出力とを合成する合成手段と、を備えることを特徴とする。

本発明によれば、輝度系と色系でそれぞれ最適化した階調変換処理を行う場合に、輝度成分の振幅レベル差の増大を抑制できるようにした画像処理装置を提供することが可能となる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラの構成を示すブロック図。第１の実施形態における画像処理部の構成を示すブロック図。第１の実施形態における輝度信号と色差信号で実現したい周波数振幅特性を示す図。第１の実施形態において帯域分離部で分離される高周波成分の周波数振幅特性を示す図。ＨＤＲモニタの階調変換特性（ＥＯＴＦ特性）の特徴を示す図。ＨＤＲモニタの階調変換特性（逆ＥＯＴＦ特性）の特徴を示す図。図６の曲線の微係数を示す図。第２の階調変換部の特性を説明する図。第２の実施形態における画像処理部の構成を示すブロック図。第２の実施形態における輝度信号と色差信号で実現したい周波数振幅特性を示す図。第２の実施形態における第３及び第４の階調変換部の特性を説明する図。第２の実施形態における第１の階調変換部の特性を説明する図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラの構成例を示すブロック図である。

図１において、レンズ群１０１はズームレンズ、フォーカスレンズを含み、被写体像を結像させる。シャッター１０２は光路を開閉する機能と絞り機能とを備える。撮像部１０３はＣＭＯＳ素子等で構成され、光学像を電気信号に変換する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換する。画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対して、ホワイトバランス処理、デモザイク処理、ノイズリダクション処理、輪郭強調処理、階調変換処理、色補正処理などの各種画像処理を行う。画像メモリ１０６は画像データを一時記憶する。メモリ制御部１０７は、画像メモリ１０６からの画像データの入出力を制御する。Ｄ／Ａ変換器１０８は入力されたデジタル信号をアナログ信号に変換する。表示部１０９はＬＣＤ等からなり、Ｄ／Ａ変換器１０８から出力された画像データ等を表示する。コーデック部１１０は画像データを圧縮符号化・復号化する。

記録媒体１１２はメモリカードやハードディスク等からなり、画像データを記録する。インターフェース１１１は、映像信号を記録媒体１１２に出力するためのインターフェースである。外部出力端子１１３は、本実施形態のデジタルカメラで生成された映像信号を、ＨＤＲ（ハイダイナミックレンジ）モニタなどの、このデジタルカメラに接続された外部機器に出力する。システム制御部１１４は、デジタルカメラのシステム全体を制御する。

次に、上記のように構成されたデジタルカメラにおける基本動作について説明する。撮像部１０３は、レンズ群１０１及びシャッター１０２を介して入射した光を光電変換し、生成された画像信号を、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し、画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力された画像データ、又はメモリ制御部１０７から出力された画像データを処理し、コーデック部１１０、外部出録端子１１３に出力するための映像信号を生成する。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、Ａ／Ｄ変換器１０４から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用の画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８から出力されたアナログ信号に応じた表示を行う。コーデック部１１０は、画像メモリ１０６に格納された画像データを圧縮符号化する。システム制御部１１４は符号化した画像データを、インタフェース１１１を介して記録媒体に格納する。また、システム制御部１１４は、画像メモリ１０６または、画像処理部１０５、またはコーデック部１１０から出力される映像信号を、外部出力端子１１３を介して、ＨＤＲモニタなどの外部出力機器に出力する。

次に、図２は、画像処理部１０５の構成を示す図である。図２において、帯域分離部２１０は、入力画像を高周波成分と、輝度用低周波成分、色用低周波成分に分離する。輝度用信号生成部２００は、帯域分離部２１０から出力される輝度用低周波成分から、低周波輝度信号に適したＲＧＢの信号成分（色信号成分）を生成する。色差用信号生成部２０１は、帯域分離部２１０から出力される色用低周波成分から、低周波色差信号に適したＲＧＢの信号成分（色信号成分）を生成する。

輝度用信号生成部２００と色差用信号生成部２０１の出力は、信号統合部２０４に入力される。信号統合部２０４は、輝度用信号生成部２００、色差用信号生成部２０１から出力される、輝度信号用と色差信号用の２系統のＲＧＢ信号を統合（合成）して、１系統のＲＧＢ信号Ｒmix，Ｇmix，Ｂmixを生成する。式（１）〜式（３）は、信号統合部２０４での演算を示す式である。

Ｒmix＝Ｒ１ｃ＋ａ＊（Ｒ１ｙ−Ｒ１ｃ）＋ｂ＊（Ｇ１ｙ−Ｇ１ｃ）
＋ｃ＊（Ｂ１ｙ−Ｂ１ｃ） …（１）
Ｇmix＝Ｇ１ｃ＋ａ＊（Ｒ１ｙ−Ｒ１ｃ）＋ｂ＊（Ｇ１ｙ−Ｇ１ｃ）
＋ｃ＊（Ｂ１ｙ−Ｂ１ｃ） …（２）
Ｂmix＝Ｂ１ｃ＋ａ＊（Ｒ１ｙ−Ｒ１ｃ）＋ｂ＊（Ｇ１ｙ−Ｇ１ｃ）
＋ｃ＊（Ｂ１ｙ−Ｂ１ｃ） …（３）
ここで、式（１）〜式（３）において、Ｒ１ｙ，Ｇ１ｙ，Ｂ１ｙは、輝度用信号生成部２００から出力されるＲＧＢ信号であり、Ｒ１ｃ，Ｇ１ｃ，Ｂ１ｃは、色差用信号生成部２０１から出力されるＲＧＢ信号である。また、ａ,ｂ,ｃは任意の係数であり、ａ＋ｂ＋ｃ＝１を満たす。

信号統合部２０４の出力は、第１の階調変換部２０５に入力される。第１の階調変換部２０５は、信号統合部２０４から出力されるＲＧＢ信号Ｒmix，Ｇmix，Ｂmixに対して、第１の階調変換を行う。第１の階調変換では、式（４）〜式（６）を用いて、出力信号Ｒ１’，Ｇ１’，Ｂ１’を生成する。ここで、第１の階調変換部２０５での変換処理は、ｘを入力、ｙを出力、変換特性の微係数をｆ１（ｘ）とすると、ｙ＝ｘ＊ｆ１（ｘ）と表記できる。

Ｒ１’＝Ｒmix＊ｆ１（Ｒmix） …（４）
Ｇ１’＝Ｇmix＊ｆ１（Ｇmix） …（５）
Ｂ１’＝Ｂmix＊ｆ１（Ｂmix） …（６）
第１の階調変換部２０５の出力は、色輝度分離部２０６に入力される。色輝度分離部２０６は、第１の階調変換部２０５から出力されるＲＧＢ信号から、式（７）〜式（９）を用いて、輝度信号Ｙ（輝度信号成分）と色差信号Ｕ，Ｖ（色差信号成分）を分離する。なお、式（７）〜式（９）において、ａ１，ｂ１，ｃ１は任意の係数であり、ａ１＋ｂ１＋ｃ１＝１を満たす。

Ｙ＝ａ１＊Ｒ１’＋ｂ１＊Ｇ１’＋ｃ１＊Ｂ１’ …（７）
Ｕ＝（１−ｃ１）＊Ｂ１’−ａ１＊Ｒ１’−ｂ１＊Ｇ１’ …（８）
Ｖ＝（１−ａ１）＊Ｒ１’−ｃ１＊Ｂ１’−ｂ１＊Ｇ１’ …（９）

ここで、人間の視覚系は、色よりも明るさの変化に対して、高い空間周波数まで応答する特徴がある。そのため、輝度用信号生成部２００では、高周波成分を多く含むよう、Ａ／Ｄ変換器１０４から出力された画像データに対して、デモザイク処理、ノイズリダクション処理、輪郭補償処理などを行う。一方、色差用信号生成部２０１では、ノイズや画像処理によるエイリアシングなど、高周波成分に起因した画質劣化がなるべく低減されるよう、Ａ／Ｄ変換器１０４から出力された画像データに対して、デモザイク処理、ノイズリダクション処理、色補正処理などを行う。そのため、輝度用信号生成部２００で生成されるＲＧＢ信号と、色差用信号生成部２０１で生成されるＲＧＢ信号に帯域差が生じる場合がある。このようにＲＧＢ信号に帯域差が生じると、輝度系のＲＧＢ信号に含まれる高周波成分に起因して、信号統合部２０４の処理において、統合後のＲＧＢ信号に元の信号にはなかった偽信号が発生する場合があり、画質を著しく劣化させる。

そこで、本実施形態では、帯域分離部２１０により、高周波成分と、輝度用低周波成分、色用低周波成分を分離し、この分離された低周波成分を、輝度用信号生成部２００と、色差用信号生成部２０１に入力する。つまり、輝度信号用のＲＧＢ信号と、色差信号用のＲＧＢ信号の周波数帯域を揃える。

周波数帯域を調整する処理としては、例えば、入力画像における着目画素ｐ（ｉ，ｊ）および着目画素近傍の画素を参照し、式（１０）に示すような演算により低域通過フィルタの処理を行う。

p_out(i,j)＝{k1＊p(i-1,j-1)＋k2＊p(i,j-1)＋k3＊p(i+1,j-1)＋k4＊p(i-1,j)
＋k5＊p(i,j)＋k6＊p(i+1,j)＋k7＊p(i-1,j+1)＋k8＊p(i,j+1)＋k9＊p(i+1,j+1)}／Ｍ
…（１０）
式（１０）において、ｉ，ｊは、それぞれ入力画像における着目画素の行方向、列方向の画素位置を示し、Ｍ＝k1＋k2＋k3＋k4＋k5＋k6＋k7＋k8＋k9 とする。k1，k2，k3，k4，k5，k6，k7，k8，k9は、参照画素にかかるフィルタ係数となる。

例えば最終的な輝度信号で実現したい周波数振幅特性が、図３の符号８０１で示すような特性であり、最終的な色差信号で実現したい周波数振幅特性が、図３の曲線８０２で示すような特性であったとする。この場合は、低周波輝度信号用のＲＧＢ信号と、色差信号用のＲＧＢ信号を、図３の曲線８０２で示すような周波数振幅特性となるよう、上記のフィルタ係数を調整する。

これにより、式（１）〜式（３）において、第２項目以降の成分が０になるため、信号統合部２０４でのＲＧＢ信号の統合後に、輝度系処理と色系処理の違いに起因したレベル差がなくなり、画質劣化を防ぐことが可能となる。

一方、帯域分離部２１０では、図４の曲線８０３で示すような周波数振幅特性で、入力画像から高周波成分を分離する。この特性は、最終的な輝度信号として実現したい図３の曲線８０１に対応した周波数振幅特性と、最終的な色差信号として実現したい図３の曲線８０２に対応した周波数振幅特性との差分を含むものとする。なお、図３、図４において、Ｎはナイキスト周波数を示す。

なお、帯域分離部２１０で分離された高周波成分は、第２の階調変換部２０７において階調変換される。第２の階調変換部２０７は、第１の階調変換部２０５とは異なる特性で階調変換を行う。具体的には、第２の階調変換部２０７は、相対的に第１の階調変換部２０５よりも非線形性の弱い特性で階調変換を行う。第２の階調変換部２０７での変換処理は、例えば、Ｙ_ａｃを入力、Ｙ_ａｃ’を出力、変換特性のゲインをｆ２（Ｙｙ）とすると、式（１１）〜式（１３）で表される。なお、式（１１）〜式（１３）において、ａ２，ｂ２，ｃ２は任意の係数であり、ａ２＋ｂ２＋ｃ２＝１を満たす。

Ｙ_ａｃ’＝Ｙ_ａｃ＊ｆ２（Ｙｙ） …（１１）
Ｙ_ａｃ＝ａ２＊（Ｒ１ｙ−Ｒ１ｃ）＋ｂ２＊（Ｇ１ｙ−Ｇ１ｃ）
＋ｃ＊（Ｂ１ｙ−Ｂ１ｃ） …（１２）
Ｙｙ＝ａ２＊Ｒ１ｙ＋ｂ２＊Ｇ１ｙ＋ｃ２＊Ｂ１ｙ …（１３）
すなわち、輝度用のＲＧＢ信号Ｒ１ｙ，Ｇ１ｙ，Ｂ１ｙから求めた輝度Ｙｙを参照して、階調変換の変換特性となるゲインｆ２（Ｙｙ）を決定する。そして、そのゲインを用いて高周波の輝度信号Ｙ_ａｃの振幅レベルを調整するよう、第２の階調変換部２０７で階調変換を行う。

第２の階調変換部２０７の出力は、高域成分合成部２０８において、色輝度分離部２０６で分離された後の輝度信号に合成され、高域成分合成部２０８は、最終的な輝度信号Ｙ_ｏｕｔ、色差信号Ｕ_ｏｕｔ，Ｖ_ｏｕｔを出力する。高域成分合成部２０８では、式（７）〜式（９）と式（１０）の結果を用いて、式（１４）〜式（１６）のような演算が行われる。

Ｙ_ｏｕｔ＝Ｙ＋Ｙ_ａｃ’ …（１４）
Ｕ_ｏｕｔ＝Ｕ …（１５）
Ｖ_ｏｕｔ＝Ｖ …（１６）
高域成分合成部２０８から出力される輝度信号、色差信号は、画像メモリ１０６、またはコーデック部１１０を経由して、外部出力端子１１３から出力され、ＨＤＲモニタに入力される。

ＨＤＲモニタでは、式（１４）〜式（１６）の輝度信号、色差信号がＲＧＢ信号に変換されて表示される。この変換は式（７）〜式（９）の逆変換であるので、式（１４）に含まれる高周波成分Ｙ＿ａｃ’は、モニタ内で変換されたＲＧＢの各信号に分配される。したがって、Ｙ＿ａｃ’のノイズや、Ｙ＿ａｃの生成時に含まれる偽信号が、第２の階調変換部２０７で著しく増幅されてモニタ表示時に画質劣化が発生する場合がある。

そのため、本実施形態では、モニタ表示時の明るさ、彩度に影響する低周波成分については、非線形性が強い階調変換特性で変換を行い、所望の明るさ、彩度が再現されるようにする。一方、ノイズとの分離が難しい高周波成分については、解像感とのバランスを考慮して、第１の階調変換部よりも非線形性の弱い特性で階調変換を行う。

次に、図５、図６、図７、図８は、第１の階調変換部２０５と第２の階調変換部２０７の特性と作用を説明する図である。

ＨＤＲ（ハイダイナミックレンジ）に対応したモニタでは、ダイナミックレンジ（Ｄレンジ）の広いシーンの輝度を、なるべく劣化なく再現するため、映像信号の量子化レベルと表示輝度との対応関係がＥＯＴＦ（Electro Optical Transfer Function）として規定されている。そして、その入出力特性は、例えば図５のようになる。従って、カメラ側では、図６で示すような、上記のＥＯＴＦの逆特性（目標とする目標曲線）で、撮像部１０３で取得された入力画像の階調変換を行い、映像信号（出力画像信号）をモニタに出力する。これにより、ダイナミックレンジの広いシーンの輝度を、モニタ上の輝度として再現することができる。ここで、図６のような入出力特性で階調変換を行う場合、階調変換特性の微係数は図７のようになり、入力信号のレベルが小さい領域５００では、入力信号レベルが大きい領域よりも、相対的に大きい微係数で入力信号が増幅されることなる。

信号統合部２０４で統合される前の色系と輝度系のＲＧＢの信号帯域に差があると、第１の階調変換部２０５での第１の階調変換によって、信号帯域の差分が強調されて、他の色信号に伝搬することがある。しかし、本実施形態では、輝度用信号生成部２００でのＲＧＢ信号の信号帯域と色差用信号生成部２０１でのＲＧＢ信号の信号帯域を揃えている。そのため、第１の階調変換では、図７のような微係数で振幅の変調が行われるよう階調変換を行ったとしても、画質劣化が生じない。

一方、第２の階調変換部２０７では、高周波成分に対して階調変換処理を行うので、ノイズが強調されないよう、図７に示した微係数に対して、低輝度側の信号にかかる微係数の程度を抑制する。つまり、図８に示す曲線（または直線）９０１のような特性で入力の振幅が変調されるよう、階調変換を行う。なお、図８の曲線９０１の特性については、被写体の高周波成分の解像感とノイズとのバランスをみて、特性を調整する。

以上説明したように、本実施形態では、撮像部で取得されたリニアな入力画像に対して、輝度用、色差用に、それぞれ最適な画像処理を行う際に、周波数帯域を分ける。そして、第１の階調変換と第２の階調変換を組み合わせて、ＨＤＲモニタに対応したＥＯＴＦの逆特性となる階調変換を行う。これにより、輝度用と色差用の信号処理系の違いに起因して発生する偽信号を階調変換によって強調することなく、撮像部で取得されたシーンの輝度を、ＨＤＲモニタ上の輝度として再現することができる。

なお、本実施形態では、第１及び第２の階調変換部で階調変換を行う色空間を、ＲＧＢとしたが、ＸＹＺ、ＬＭＳなど、他の混色系表色系の色空間で変換処理を行ってもよい。

（第２の実施形態）
以下、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。この第２の実施形態のデジタルカメラは、外面的には、図１に示した第１の実施形態のデジタルカメラと同じであり、画像処理部１０５の構成のみが、第１の実施形態と異なる。以下では、この第１の実施形態と異なる部分についてのみ説明する。

図９は、第２の実施形態における画像処理部１０５の構成を示す図である。第１の実施形態と同じ作用をする構成要素については同じ符号を付して、説明を省略する。

図９において、帯域分離部２１０は、入力画像を高周波成分と、輝度用低周波成分、色用低周波成分に分離する。輝度用信号生成部２００は、帯域分離部２１０から出力される輝度用低周波成分から、低周波輝度信号に適したＲＧＢの信号成分（色信号成分）を生成する。色差用信号生成部２０１は、帯域分離部２１０から出力される色用低周波成分から、低周波色差信号に適したＲＧＢの信号成分（色信号成分）を生成する。

第３の階調変換部２０２は、輝度用信号生成部２００の出力に対して、第３の階調変換を行う。また、第４の階調変換部２０３は、色差用信号生成部２０１の出力に対して、第４の階調変換を行う。

第３の階調変換部２０２と第４の階調変換部２０３の出力は、信号統合部２０４に入力される。信号統合部２０４は、第３の階調変換部２０２、第４の階調変換部２０３から出力される、輝度信号用と色差信号用の２系統のＲＧＢ信号を統合（合成）して、１系統のＲＧＢ信号Ｒmix，Ｇmix，Ｂmixを生成する。

信号統合部２０４の出力は、第１の階調変換部２０５に入力される。第１の階調変換部２０５は、信号統合部２０４から出力されるＲＧＢ信号Ｒmix，Ｇmix，Ｂmixに対して、第１の階調変換を行う。第１の階調変換部２０５の出力は、色輝度分離部２０６に入力される。色輝度分離部２０６は、第１の階調変換部２０５から出力されるＲＧＢ信号から、式（７）〜式（９）を用いて、輝度信号Ｙ（輝度信号成分）と色差信号Ｕ，Ｖ（色差信号成分）を分離する。

一方、帯域分離部２１０で分離された高周波成分は、第２の階調変換部２０７において階調変換される。第２の階調変換部２０７の出力は、高域成分合成部２０８において、色輝度分離部２０６で分離された後の輝度信号に合成され、高域成分合成部２０８は、最終的な輝度信号Ｙ_ｏｕｔ、色差信号Ｕ_ｏｕｔ，Ｖ_ｏｕｔを出力する。高域成分合成部２０８から出力される輝度信号、色差信号は、画像メモリ１０６、またはコーデック部１１０を経由して、外部出力端子１１３から出力され、ＨＤＲモニタに入力される。

この第２の実施形態では、帯域分離部２１０で、高周波成分と輝度用低周波成分、色用低周波成分を分離し、階調変換した後に信号統合部２０４に入力する。しかし、輝度信号用のＲＧＢ信号と、色差信号用のＲＧＢ信号の周波数帯域を完全には一致させない。

例えば、図１０の曲線８０１で示す特性が最終的な輝度信号として実現したい周波数振幅特性、曲線８０４が最終的な色差信号として実現したい周波数振幅特性であるとする。この場合に、低周波輝度信号のためのＲＧＢ信号成分の周波数振幅特性が曲線８０２で示す特性となるように、帯域を分離する。

これは次のような理由による。つまり、輝度信号と色差信号とで、最終的に実現したい周波数振幅特性の差が大きい場合に、低周波輝度信号用のためのＲＧＢ信号を色差信号の帯域に揃えてしまうと、高域成分合成部２０８において、輝度の高周波成分で置換される信号の割合が多くなる。この場合、高彩度被写体でエッジが色抜けする問題が生じるからである。

一方、色差用のＲＧＢ信号と、低周波輝度信号用のＲＧＢ信号の周波数帯域を一致させていないため、信号統合部２０４でこれらの２系統のＲＧＢ信号が合成された場合、元の色信号にはない偽信号が発生する場合がある。そこで、本実施形態では、第３の階調変換部２０２による第３の階調変換と第４の階調変換部２０３による第４の階調変換を行う。そして、色差用のＲＧＢ信号と、低周波輝度信号用のＲＧＢ信号の周波数帯域の差に起因した信号レベルの差を低減させてから、信号統合部２０４で上記の２系統のＲＧＢ信号を統合する。なお、第３の階調変換部２０２と第４の階調変換部２０３は、同じ特性の階調変換処理を行ってもよいし、異なる特性の階調変換処理を行ってもよいが、本実施形態では同じ特性の階調変換処理を行うものとする。

そして、例えば、第３及び第４の階調変換部２０２，２０３では、図１１で大きな微係数のかかる符号５００で示す領域において、曲線４０２で示す特性となるよう、式（１７）〜式（２２）を用いて階調変換を行う。

ここで、第３の階調変換部２０２と第４の階調変換部２０３で同じ特性の階調変換を行うとすると、それらの階調変換処理は、ｘを入力、ｙを出力、変換特性の微係数をｆ３（ｘ）とすると、ｙ＝ｘ＊ｆ３（ｘ）と表記できる。ここで、Ｒｙ，Ｇｙ，Ｃｙは輝度用信号生成部２００の出力であり、Ｒｃ，Ｇｃ，Ｂｃは色差用信号生成部２０１の出力である。Ｒ３ｙ’，Ｇ３ｙ’，Ｂ３ｙ’は、第３の階調変換部２０２の出力であり、Ｒ３ｃ’，Ｇ３ｃ’，Ｂ３ｃ’は、第４の階調変換部２０３の出力である。

Ｒ３ｃ’＝Ｒｃ＊ｆ３（Ｒｃ） …（１７）
Ｒ３ｙ’＝Ｒｙ＊ｆ３（Ｒｙ） …（１８）
Ｇ３ｃ’＝Ｇｃ＊ｆ３（Ｇｃ） …（１９）
Ｇ３ｙ’＝Ｇｙ＊ｆ３（Ｇｙ） …（２０）
Ｂ３ｃ’＝Ｂｃ＊ｆ３（Ｂｃ） …（２１）
Ｂ３ｙ’＝Ｂｙ＊ｆ３（Ｂｙ） …（２２）
第３の階調変換部２０２と第４の階調変換部２０３の出力は、信号統合部２０４に入力される。信号統合部２０４は、第３の階調変換部２０２、第４の階調変換部２０３から出力される、輝度信号用と色差信号用の２系統のＲＧＢ信号を統合（合成）して、１系統のＲＧＢ信号Ｒmix，Ｇmix，Ｂmixを生成する。式（２３）〜式（２５）は、信号統合部２０４での演算を示す式である。

Ｒmix＝Ｒ３ｃ’＋ａ３＊（Ｒ３ｙ’−Ｒ３ｃ’）＋ｂ３＊（Ｇ３ｙ’−Ｇ３ｃ’）
＋ｃ３＊（Ｂ３ｙ’−Ｂ３ｃ’） …（２３）
Ｇmix＝Ｇ１ｃ’＋ａ３＊（Ｒ３ｙ’−Ｒ３ｃ’）＋ｂ３＊（Ｇ３ｙ’−Ｇ３ｃ’）
＋ｃ３＊（Ｂ３ｙ’−Ｂ３ｃ’） …（２４）
Ｂmix＝Ｂ１ｃ’＋ａ３＊（Ｒ３ｙ’−Ｒ３ｃ’）＋ｂ３＊（Ｇ３ｙ’−Ｇ３ｃ’）
＋ｃ３＊（Ｂ３ｙ’−Ｂ３ｃ’） …（２５）
なお、式（２３）〜式（２５）において、ａ３,ｂ３,ｃ３は任意の係数であり、ａ３＋ｂ３＋ｃ３＝１を満たす。

式（２３）〜式（２５）において、第２項目以降の成分は、第３及び第４の階調変換部２０２，２０３により、振幅レベルが低減されている。なお、すでに説明したように、第３の階調変換部２０２と第４の階調変換部２０４における階調変換の特性は共通にしてもよいし、階調変換後の２系統のＲＧＢ信号の振幅レベルの差異が許容できる範囲で、異なる特性としてもよい。

信号統合部２０４の出力は、第１の階調変換部２０５に入力される。第１の階調変換部２０５は、信号統合部２０４から出力されるＲＧＢ信号Ｒmix，Ｇmix，Ｂmixに対して、式（４）〜式（６）を用いて第１の階調変換を行う。第２の実施形態においては、式（４）〜式（６）での、変換特性の微係数ｆ１（ｘ）は、入力をｘ、出力をｆ１（ｘ）としたときに、図１２に示すような入出力特性となる。図１２において、符号５００で示す領域は、図１１に符号５００で示す領域と対応している。図１１の符号５００で示す領域の出力信号レベルは、曲線４０２で示すようにＨＤＲモニタに対応したＥＯＴＦの逆特性に対して、振幅レベルが低くなっている。そのため、第１の階調変換では、第３及び第４の階調変換で不足する振幅レベルの増幅を行うよう、ｆ１（ｘ）を用いた図１２に示すような特性の階調変換が行われる。

本実施形態では、上記のようにＨＤＲモニタに対応したＥＯＴＦの逆特性を、１段階目の第３及び第４の階調変換部２０２，２０３と、２段階目の第１の階調変換部２０５の２段階に分けて適用する。信号統合部２０４で統合される前の、１段階目の第３及び第４の階調変換部２０２，２０３では、上記の２系統のＲＧＢ信号について、変換後のＲＧＢの比が、著しく乖離せず、所定のレベル以下になるようにする。具体的には、図１１に符号５００で示す領域において、ＨＤＲモニタに対応したＥＯＴＦの逆特性４０１に一致する特性よりも、暗部（低輝度部）の立ち上がりが小さくなるような特性（変換量）で階調変換を行う。このときの入出力特性は、例えば図１１に符号４０２で示すような特性となる。なお、第３の階調変換部２０２と第４の階調変換部２０３における階調変換の特性は、すでに説明したように共通にしてもよいし、階調変換後の２系統のＲＧＢ信号の振幅レベルの差異が許容できる範囲で、異なる特性としてもよい。また、図１１の符号４０２で示す特性は曲線であるが、入力値が一律のゲインで増幅されるような線形な特性としてもよい。その一例として、図１１の原点Ｏと点Ａを直線で結んだ線形な特性とすることができる。なお、階調変換の前後でそれぞれのＲＧＢ信号の信号値の比が保たれるような変換特性であれば、２系統のＲＧＢ信号の振幅レベルの差が増幅されるのを抑制することができるので、線形変換以外にべき乗の変換であってもよい。

一方、信号統合部２０４で統合された後の第１の階調変換部２０５では、図１２に示すような入出力特性で階調変換を行う。符号５００で示す領域は、図１１の符号５００で示す領域と対応している。１段階目の第３及び第４の階調変換部２０２，２０３で階調変換された後の、符号５００で示す領域の出力信号レベルは、ＨＤＲモニタに対応したＥＯＴＦの逆特性に対して、振幅レベルが低くなっている。そのため、２段階目の階調変換である第１の階調変換部２０５による階調変換では、１段階目の階調変換で不足する振幅レベルの増幅を行うよう、階調変換を行う。

なお、この２段階の階調変換は、別の表現をすれば、信号統合部２０４で統合する前の１段階目では、相対的に非線形性の弱い階調変換を行い、信号統合部２０４で統合した後の２段階目では、相対的に１段階目の階調変換よりも非線形性の強い階調変換を行うと表現することもできる。そして、これらの２段階の階調変換を組み合わせて、最終的に低周波成分については、ＨＤＲモニタに対応したＥＯＴＦの逆特性となるように階調変換を行う。

第１の階調変換部２０５の出力は、色輝度分離部２０６に入力される。色輝度分離部２０６は、第１の階調変換部２０５から出力されるＲＧＢ信号から、式（７）〜式（９）を用いて、輝度信号Ｙ（輝度信号成分）と色差信号Ｕ，Ｖ（色差信号成分）を分離する。

本実施形態においては、帯域分離部２１０は、図４の曲線８０３で示すような周波数振幅特性で、入力画像から高周波成分を分離する。この特性は、最終的な輝度信号として実現したい図１０の曲線８０１に対応した周波数振幅特性と、最終的な色差信号として実現したい図１０の曲線８０２に対応した周波数振幅特性との差分を含むものとする。なお、図３、図４において、Ｎはナイキスト周波数を示す。

なお、帯域分離部２１０で分離された高周波成分は、第２の階調変換部２０７において、例えば式（１１）〜式（１３）を用いて階調変換される。すなわち、輝度用のＲＧＢ信号Ｒ１ｙ，Ｇ１ｙ，Ｂ１ｙから求めた輝度Ｙｙを参照して、階調変換の変換特性となるゲインｆ２（Ｙｙ）を決定する。そして、そのゲインを用いて高周波の輝度信号Ｙ_ａｃの振幅レベルを調整するよう、第２の階調変換部２０７で階調変換を行う。

高域成分合成部２０８から出力される輝度信号、色差信号は、画像メモリ１０６、またはコーデック部１１０を経由して、外部出力端子１１３から出力され、ＨＤＲモニタに入力される。

以上説明したように、第２の実施形態においても、撮像部で取得されたリニアな入力画像に対して、輝度用、色差用に、それぞれ最適な画像処理を行う際に、周波数帯域を分ける。そして、低周波成分に対しては、第１の階調変換と第３及び第４の階調変換を組み合わせる。また、高周波成分に対しては、第２の階調変換を適用する。そして、ＨＤＲモニタに対応したＥＯＴＦの逆特性となる階調変換を行う。これにより、輝度用と色差用の信号処理系の違いに起因して発生する偽信号を階調変換によって強調することなく、撮像部で取得されたシーンの輝度を、ＨＤＲモニタ上の輝度として再現することができる。

なお、本実施形態では、第１乃至第４の階調変換部で階調変換を行う色空間を、ＲＧＢとしたが、ＸＹＺ、ＬＭＳなど、他の混色系表色系の色空間で変換処理を行ってもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１０５：画像処理部、２００：輝度用信号生成部、２０１：色差用信号生成部、２０２：第３の階調変換部、２０３：第４の階調変換部、２０４：信号統合部、２０５：第１の階調変換部、２０６：色輝度分離部、２０７：第２の階調変換部、２０８：高輝度成分合成部、２１０：帯域分離部

Claims

入力画像信号から、所定の周波数振幅特性に基づいて高周波成分と低周波成分を分離する第１の分離手段と、
前記低周波成分から、輝度信号用の色信号成分を生成する第１の生成手段と、
前記低周波成分から、色差信号用の色信号成分を生成する第２の生成手段と、
前記第１の生成手段の出力と前記第２の生成手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、
前記第３の生成手段の出力に対して第１の階調変換処理を行う第１の階調変換手段と、
前記第１の階調変換手段により処理された後の信号から輝度信号と色差信号を生成する色輝度分離手段と、
前記高周波成分に対して第２の階調変換を行う第２の階調変換手段と、
前記色輝度分離手段の出力と前記第２の階調変換手段の出力とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
前記第２の階調変換手段は、前記第１の階調変換手段よりも、入力信号の低輝度部に対する振幅の増幅の程度が小さいことを特徴とする請求項１に記載の画像処理装置。
前記第１の階調変換手段は、相対的に非線形の強い階調変換を行い、前記第２の階調変換手段は、相対的に前記第１の階調変換手段よりも非線形の弱い階調変換を行うことを特徴とする請求項１に記載の画像処理装置。
前記色信号成分は、ＲＧＢの信号成分であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記第１の階調変換手段から出力される色信号成分を、輝度信号成分と色差信号成分とに分離する第２の分離手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記画像処理装置は、入力画像信号の信号レベルと出力画像信号の信号レベルの関係を示す曲線が目標とする目標曲線となるように、入力画像信号に対して階調変換を行う画像処理装置であって、
前記目標曲線は、ハイダイナミックレンジに対応するモニタのＥＯＴＦ（Electro Optical Transfer Function）の逆特性となる曲線であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
入力画像信号から、所定の周波数振幅特性に基づいて高周波成分と低周波成分を分離する第１の分離手段と、
前記低周波成分から、輝度信号用の色信号成分を生成する第１の生成手段と、
前記低周波成分から、色差信号用の色信号成分を生成する第２の生成手段と、
前記輝度信号用の色信号成分に対して第３の階調変換処理を行う第３の階調変換手段と、
前記色差信号用の色信号成分に対して第４の階調変換処理を行う第４の階調変換手段と、
前記第３の階調変換手段の出力と前記第４の階調変換手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、
前記第３の生成手段の出力に対して第１の階調変換処理を行う第１の階調変換手段と、
前記第１の階調変換手段により処理された後の信号から輝度信号と色差信号を生成する色輝度分離手段と、
前記高周波成分に対して第２の階調変換を行う第２の階調変換手段と、
前記色輝度分離手段の出力と前記第２の階調変換手段の出力とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
前記第３の階調変換手段と前記第４の階調変換手段は、前記第３の階調変換手段から出力される色信号成分と、前記第４の階調変換手段から出力される色信号成分の振幅の差が所定のレベル以下になるように、階調変換を行うことを特徴とする請求項７に記載の画像処理装置。
前記第２の階調変換手段は、前記第１の階調変換手段と、前記第３または第４の階調変換手段とを組み合わせた階調変換特性よりも、入力信号の低輝度部に対する振幅の増幅の程度が小さいことを特徴とする請求項７または８に記載の画像処理装置。
前記第１の階調変換手段と、前記第３または第４の階調変換手段とを組み合わせた階調変換特性は、相対的に非線形の強い階調変換特性であり、前記第２の階調変換手段の階調変換特性は、相対的に前記第１の階調変換手段と、前記第３または第４の階調変換手段とを組み合わせた階調変換特性よりも非線形の弱い階調変換特性であることを特徴とする請求項７に記載の画像処理装置。
前記第３の階調変換手段と前記第４の階調変換手段は、互いに同じ特性の階調変換を行うことを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理装置。
前記第３および第４の階調変換手段が行う階調変換は、入力信号の信号レベルと出力信号の信号レベルの関係を表す曲線が直線である階調変換を含むことを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理装置。
前記画像処理装置は、入力画像信号の信号レベルと出力画像信号の信号レベルの関係を示す曲線が目標とする目標曲線となるように、入力画像信号に対して階調変換を行う画像処理装置であって、
前記第３および第４の階調変換手段は、前記入力画像信号の低周波成分の信号レベルと出力画像信号の低周波成分の信号レベルの関係を示す曲線が前記目標曲線に一致するよりも少ない変換量で階調変換を行い、前記第１の階調変換手段は、前記第３および第４の階調変換手段で階調変換した後に残った前記目標曲線との差分に対応する変換量で階調変換を行うことを特徴とする請求項７に記載の画像処理装置。
前記目標曲線は、ハイダイナミックレンジに対応するモニタのＥＯＴＦ（Electro Optical Transfer Function）の逆特性となる曲線であることを特徴とする請求項１３に記載の画像処理装置。
前記色信号成分は、ＲＧＢの信号成分であることを特徴とする請求項７乃至１４のいずれか１項に記載の画像処理装置。
前記第１の階調変換手段から出力される色信号成分を、輝度信号成分と色差信号成分とに分離する第２の分離手段をさらに備えることを特徴とする請求項７乃至１５のいずれか１項に記載の画像処理装置。
入力画像信号から、所定の周波数振幅特性に基づいて高周波成分と低周波成分を分離する分離工程と、
前記低周波成分から、輝度信号用の色信号成分を生成する第１の生成工程と、
前記低周波成分から、色差信号用の色信号成分を生成する第２の生成工程と、
前記第１の生成工程の出力と前記第２の生成工程の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成工程と、
前記第３の生成工程の出力に対して第１の階調変換処理を行う第１の階調変換工程と、
前記第１の階調変換工程により処理された後の信号から輝度信号と色差信号を生成する色輝度分離工程と、
前記高周波成分に対して第２の階調変換を行う第２の階調変換工程と、
前記色輝度分離工程の出力と前記第２の階調変換工程の出力とを合成する合成工程と、
を有することを特徴とする画像処理方法。
入力画像信号から、所定の周波数振幅特性に基づいて高周波成分と低周波成分を分離する分離工程と、
前記低周波成分から、輝度信号用の色信号成分を生成する第１の生成工程と、
前記低周波成分から、色差信号用の色信号成分を生成する第２の生成工程と、
前記輝度信号用の色信号成分に対して第３の階調変換処理を行う第３の階調変換工程と、
前記色差信号用の色信号成分に対して第４の階調変換処理を行う第４の階調変換工程と、
前記第３の階調変換工程の出力と前記第４の階調変換工程の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成工程と、
前記第３の生成工程の出力に対して第１の階調変換処理を行う第１の階調変換工程と、
前記第１の階調変換工程により処理された後の信号から輝度信号と色差信号を生成する色輝度分離工程と、
前記高周波成分に対して第２の階調変換を行う第２の階調変換工程と、
前記色輝度分離工程の出力と前記第２の階調変換工程の出力とを合成する合成工程と、
を有することを特徴とする画像処理方法。
請求項１７または１８に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
請求項１７または１８に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。