JP6956531B2

JP6956531B2 - 画像処理装置及び画像処理方法、プログラム、記憶媒体

Info

Publication number: JP6956531B2
Application number: JP2017119883A
Authority: JP
Inventors: 田島　香
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-06-19
Filing date: 2017-06-19
Publication date: 2021-11-02
Anticipated expiration: 2037-06-19
Also published as: US10419735B2; US20180367781A1; JP2019004425A

Description

本発明は、撮像された画像信号の階調特性をＨＤＲモニタに出力するのに適した階調特性に変換する技術に関するものである。

近年、ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できるＨＤＲ（ハイダイナミックレンジ）カメラシステムが提案されている。また、ＳＴ２０８４、ＢＴ．２１００などのように、ＨＤＲモニタで取り扱う映像信号の色空間、階調圧縮の規格も規定されつつある。

カメラ内でＨＤＲ規格に対応した映像信号を生成する場合、光学系、撮像素子を介して取得された入力画像に対して、ＨＤＲに対応するように階調変換を行った後、輝度信号と色差信号を分離して、映像信号を出力する。ＨＤＲモニタでは、カメラから出力される映像信号を受けて、ＲＧＢまたはＸＹＺなどの表示処理用の色空間に変換した後、ＨＤＲ規格に対応したモニタ側の階調変換を適用し、表示する。

従来、カメラ側の処理として、人間の視覚特性を考慮し、色と輝度の出力がそれぞれ最適になるような画像処理が提案されている（特許文献１）。

特許第３９１９３８９号公報

特許文献１に開示されている画像処理装置では、色差出力用の信号処理（色系信号処理）と、輝度出力用の信号処理（輝度系信号処理）を、それぞれ最適化している。したがって、色系信号処理において入力画像から分離される輝度成分と、輝度系信号処理において入力画像から生成される輝度成分との間に、振幅レベルの差が発生する場合がある。特に、ＳＴ２０８４などのＨＤＲ規格に対応した階調変換特性は、暗部の立ち上がりが急峻であるため、輝度成分の振幅レベルの差が階調変換によって強調される場合がある。その結果、カメラから出力される映像信号をＨＤＲモニタ内で表示のための色空間に変換する際、カメラ内で発生した輝度振幅レベルの差が表示用の色空間内で偽信号を生成し、画質を著しく損なうという課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、輝度系と色系でそれぞれ最適化した階調変換処理を行う場合に、輝度成分の振幅レベル差の増大を抑制できるようにした画像処理装置を提供することである。

本発明に係わる画像処理装置は、入力画像信号の信号レベルとモニタに出力するための出力画像信号の信号レベルの関係を示す曲線が目標とする目標曲線となるように、入力画像信号に対して階調変換を行う画像処理装置であって、入力画像信号から、輝度信号用の色信号成分を生成する第１の生成手段と、入力画像信号から、色差信号用の色信号成分を生成する第２の生成手段と、前記輝度信号用の色信号成分に対して第１の階調変換特性を用いて第１の階調変換を行う第１の階調変換手段と、前記色差信号用の色信号成分に対して第２の階調変換特性を用いて第２の階調変換を行う第２の階調変換手段と、前記第１の階調変換手段の出力と前記第２の階調変換手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、前記第３の生成手段により処理された後の信号に対して第３の階調変換特性を用いて第３の階調変換を行う第３の階調変換手段と、を備え、前記第１および第２の階調変換特性は、前記入力画像信号の少なくとも一部の値の範囲に対し、前記目標曲線にしたがった階調変換を行う場合よりも少ない増幅率で階調変換を行う特性であり、前記第３の階調変換特性は、前記第３の生成手段により生成された信号に対し、前記入力画像信号を前記目標曲線にしたがって階調変換した場合と同じ値になるよう階調変換を行う特性であることを特徴とする。

また、本発明に係わる画像処理装置は、入力画像信号に対して階調変換を行う画像処理装置であって、入力画像信号から、輝度信号用の色信号成分を生成する第１の生成手段と、入力画像信号から、色差信号用の色信号成分を生成する第２の生成手段と、前記輝度信号用の色信号成分に対して第１の階調変換を行う第１の階調変換手段と、前記色差信号用の色信号成分に対して第２の階調変換を行う第２の階調変換手段と、前記第１の階調変換手段の出力と前記第２の階調変換手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、前記第３の生成手段により処理された後の信号に対して第３の階調変換を行う第３の階調変換手段と、を備え、前記第１および第２の階調変換手段は、相対的に非線形性の弱い階調変換を行い、前記第３の階調変換手段は、相対的に前記第１および第２の階調変換手段よりも非線形性の強い階調変換を行うことを特徴とする。

本発明によれば、輝度系と色系でそれぞれ最適化した階調変換処理を行う場合に、輝度成分の振幅レベル差の増大を抑制できるようにした画像処理装置を提供することが可能となる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラの構成を示すブロック図。第１の実施形態における画像処理部の構成を示すブロック図。ＨＤＲモニタの階調変換特性（ＥＯＴＦ特性）の特徴を示す図。ＨＤＲモニタの階調変換特性（逆ＥＯＴＦ特性）の特徴を示す図。図４の曲線の微係数を示す図。第１、第２の階調変換部の特性を説明する図。第３の階調変換部の特性を説明する図。第２の実施形態における画像処理部の構成を示すブロック図。第３の実施形態における画像処理部の構成を示すブロック図。第５及び第６の階調変換部の特性を説明する図。第３の実施形態における画像処理部内での階調変換特性を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラの構成例を示すブロック図である。

図１において、レンズ群１０１はズームレンズ、フォーカスレンズを含み、被写体像を結像させる。シャッター１０２は光路を開閉する機能と絞り機能とを備える。撮像部１０３はＣＭＯＳ素子等で構成され、光学像を電気信号に変換する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換する。画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対して、ホワイトバランス処理、デモザイク処理、ノイズリダクション処理、輪郭強調処理、階調変換処理、色補正処理などの各種画像処理を行う。画像メモリ１０６は画像データを一時記憶する。メモリ制御部１０７は、画像メモリ１０６からの画像データの入出力を制御する。Ｄ／Ａ変換器１０８は入力されたデジタル信号をアナログ信号に変換する。表示部１０９はＬＣＤ等からなり、Ｄ／Ａ変換器１０８から出力された画像データ等を表示する。コーデック部１１０は画像データを圧縮符号化・復号化する。

記録媒体１１２はメモリカードやハードディスク等からなり、画像データを記録する。インターフェース１１１は、映像信号を記録媒体１１２に出力するためのインターフェースである。外部出力端子１１３は、本実施形態のデジタルカメラで生成された映像信号を、ＨＤＲ（ハイダイナミックレンジ）モニタなどの、このデジタルカメラに接続された外部機器に出力する。システム制御部１１４は、デジタルカメラのシステム全体を制御する。

次に、上記のように構成されたデジタルカメラにおける基本動作について説明する。撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換し、生成された画像信号を、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し、画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力された画像データ、又はメモリ制御部１０７から出力された画像データを処理し、コーデック部１１０、外部出録端子１１３に出力するための映像信号を生成する。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、Ａ／Ｄ変換器１０４から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用の画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８から出力されたアナログ信号に応じた表示を行う。コーデック部１１０は、画像メモリ１０６に格納された画像データを圧縮符号化する。システム制御部１１４は符号化した画像データを、インタフェース１１１を介して記録媒体に格納する。また、システム制御部１１４は、画像メモリ１０６または、画像処理部１０５、またはコーデック部１１０から出力される映像信号を、外部出力端子１１３を介して、ＨＤＲモニタなどの外部出力機器に出力する。

次に、図２は、画像処理部１０５の構成を示す図である。図２において、輝度用信号生成部２００は、入力画像から、輝度信号に適したＲＧＢの信号成分（色信号成分）を生成する。色差用信号生成部２０１は、入力画像から、色差信号に適したＲＧＢの信号成分（色信号成分）を生成する。ここで、人間の視覚系は、色よりも明るさの変化に対して、高い空間周波数まで応答する特徴がある。そのため、輝度用信号生成部２００では、高周波成分を多く含むよう、Ａ／Ｄ変換器１０４から出力された画像データに対して、デモザイク処理、ノイズリダクション処理、輪郭補償処理などを行う。一方、色差用信号生成部２０１では、ノイズや画像処理によるエイリアシングなど、高周波成分に起因した画質劣化がなるべく低減されるよう、Ａ／Ｄ変換器１０４から出力された画像データに対して、デモザイク処理、ノイズリダクション処理、色補正処理などを行う。

第１の階調変換部２０２は、輝度用信号生成部２００の出力Ｒｙ，Ｇｙ，Ｂｙに対して、第１の階調変換を行う。また、第２の階調変換部２０３は、色差用信号生成部２０１の出力Ｒｃ，Ｇｃ，Ｂｃに対して、第２の階調変換を行う。

ここで、第１の階調変換部２０２と第２の階調変換部２０３は、同じ特性の階調変換処理を行ってもよいし、異なる特性の階調変換処理を行ってもよいが、本実施形態では同じ特性の階調変換処理を行うものとする。式（１）〜式（６）は、第１の階調変換部２０２、第２の階調変換部２０３での、色差用のＲＧＢ信号Ｒ１ｃ’，Ｇ１ｃ’，Ｂ１ｃ’、輝度用のＲＧＢ信号Ｒ１ｙ’，Ｇ１ｙ’，Ｂ１ｙ’を生成する演算を示す式である。

ここで、第１の階調変換部２０２と第２の階調変換部２０３で同じ特性の階調変換を行うとすると、それらの階調変換処理は、ｘを入力、ｙを出力、変換特性の微係数をｆ１（ｘ）とすると、ｙ＝ｘ＊ｆ１（ｘ）と表記できる。

Ｒ１ｃ’＝Ｒｃ＊ｆ１（Ｒｃ） …（１）
Ｒ１ｙ’＝Ｒｙ＊ｆ１（Ｒｙ） …（２）
Ｇ１ｃ’＝Ｇｃ＊ｆ１（Ｇｃ） …（３）
Ｇ１ｙ’＝Ｇｙ＊ｆ１（Ｇｙ） …（４）
Ｂ１ｃ’＝Ｂｃ＊ｆ１（Ｂｃ） …（５）
Ｂ１ｙ’＝Ｂｙ＊ｆ１（Ｂｙ） …（６）
第１の階調変換部２０２と第２の階調変換部２０３の出力は、信号統合部２０４に入力される。信号統合部２０４は、第１の階調変換部２０２、第２の階調変換部２０３から出力される、輝度信号用と色差信号用の２系統のＲＧＢ信号を統合（合成）して、１系統のＲＧＢ信号Ｒmix，Ｇmix，Ｂmixを生成する。式（７）〜式（９）は、信号統合部２０４での演算を示す式である。

Ｒmix＝Ｒ１ｃ’＋ａ＊（Ｒ１ｙ’−Ｒ１ｃ’）＋ｂ＊（Ｇ１ｙ’−Ｇ１ｃ’）
＋ｃ＊（Ｂ１ｙ’−Ｂ１ｃ’） …（７）
Ｇmix＝Ｇ１ｃ’＋ａ＊（Ｒ１ｙ’−Ｒ１ｃ’）＋ｂ＊（Ｇ１ｙ’−Ｇ１ｃ’）
＋ｃ＊（Ｂ１ｙ’−Ｂ１ｃ’） …（８）
Ｂmix＝Ｂ１ｃ’＋ａ＊（Ｒ１ｙ’−Ｒ１ｃ’）＋ｂ＊（Ｇ１ｙ’−Ｇ１ｃ’）
＋ｃ＊（Ｂ１ｙ’−Ｂ１ｃ’） …（９）
なお、式（７）〜式（９）において、ａ,ｂ,ｃは任意の係数であり、ａ＋ｂ＋ｃ＝１を満たす。

信号統合部２０４の出力は、第３の階調変換部２０５に入力される。第３の階調変換部２０５は、信号統合部２０４から出力されるＲＧＢ信号Ｒmix，Ｇmix，Ｂmixに対して、第３の階調変換を行う。第３の階調変換では、式（１０）〜式（１２）を用いて、出力信号Ｒ２’，Ｇ２’，Ｂ２’を生成する。ここで、第３の階調変換部２０５での変換処理は、ｘを入力、ｙを出力、変換特性の微係数をｆ２（ｘ）とすると、ｙ＝ｘ＊ｆ２（ｘ）と表記できる。

Ｒ２’＝Ｒmix＊ｆ２（Ｒmix） …（１０）
Ｇ２’＝Ｇmix＊ｆ２（Ｇmix） …（１１）
Ｂ２’＝Ｂmix＊ｆ２（Ｂmix） …（１２）
第３の階調変換部２０５の出力は、色輝度分離部２０６に入力される。色輝度分離部２０６は、第３の階調変換部２０５から出力されるＲＧＢ信号から、式（１３）〜式（１５）を用いて、輝度信号Ｙ（輝度信号成分）と色差信号Ｕ，Ｖ（色差信号成分）を分離する。なお、式（１３）〜式（１５）において、ａ１，ｂ１，ｃ１は任意の係数であり、ａ１＋ｂ１＋ｃ１＝１を満たす。

Ｙ＝ａ１＊Ｒ２’＋ｂ１＊Ｇ２’＋ｃ１＊Ｂ２’ …（１３）
Ｕ＝（１−ｃ１）＊Ｂ２’−ａ１＊Ｒ２’−ｂ１＊Ｇ２’ …（１４）
Ｖ＝（１−ａ１）＊Ｒ２’−ｃ１＊Ｂ２’−ｂ１＊Ｇ２’ …（１５）
色輝度分離部２０６から出力される輝度信号及び色差信号は、画像メモリ１０６またはコーデック部１１０を経由して、外部出力端子１１３からＨＤＲモニタに入力される。

次に、図３、図４、図５は、第１の階調変換部２０２、第２の階調変換部２０３、第３の階調変換部２０５の処理の目的と作用を説明する図である。

ＨＤＲ（ハイダイナミックレンジ）に対応したモニタでは、ダイナミックレンジ（Ｄレンジ）の広いシーンの輝度を、なるべく劣化なく再現するため、映像信号の量子化レベルと表示輝度との対応関係がＥＯＴＦ（Electro Optical Transfer Function）として規定されている。そして、その入出力特性は、例えば図３のようになる。従って、カメラ側では、図４で示すような、上記のＥＯＴＦの逆特性（目標とする目標曲線）で、撮像部１０３で取得された入力画像の階調変換を行い、映像信号（出力画像信号）をモニタに出力する。これにより、ダイナミックレンジの広いシーンの輝度を、モニタ上の輝度として再現することができる。ここで、図４のような入出力特性で階調変換を行う場合、階調変換特性の微係数は図５のようになり、入力信号のレベルが小さい領域５００では、入力信号レベルが大きい領域よりも、相対的に大きい微係数で入力信号が増幅されることなる。

一方で、画像処理部１０５では、人間の視覚特性を考慮して、効率良く高画質な映像信号を生成するために、輝度信号、色差信号のためのＲＧＢ信号をそれぞれ独立の系で生成している。そのため、ノイズや、画像処理によるエイリアシングによって、これら２系統のＲＧＢ信号の振幅レベルに差異が発生する場合がある。

従って、これら２系統のＲＧＢ信号の振幅レベルの差異が、階調変換処理によって増幅された後、信号統合部２０４で統合されると、式（７）〜（９）に含まれる、第２項目以降の成分が大きくなり、入力画像には存在しなかった、偽信号が発生する。特に、有彩色で高彩度の被写体の場合には、ＲＧＢの内、０近傍の値をとる色について、式（７）〜（９）の第２項目以降の成分が大きくなるため、元の色にはなかった色信号が混入する。混入した色成分が、モニタ内の階調変換で強調されることで、画質を著しく劣化させる。

そこで、本実施形態では、ＨＤＲモニタに対応したＥＯＴＦの逆特性を、１段階目の第１及び第２の階調変換部２０２，２０３と、２段階目の第３の階調変換部２０５の２段階に分けて適用する。信号統合部２０４で統合される前の、１段階目の第１及び第２の階調変換部２０２，２０３では、上記の２系統のＲＧＢ信号の振幅レベルの差異が著しく増幅されず、所定のレベル以下になるようにする。具体的には、図６に符号５００で示す領域において、ＨＤＲモニタに対応したＥＯＴＦの逆特性４０１に一致する特性よりも、暗部（低輝度部）の立ち上がりが小さくなるような特性（変換量）で階調変換を行う。このときの入出力特性は、例えば図６に符号４０２で示すような特性となる。なお、第１の階調変換部２０２と第２の階調変換部２０３における階調変換の特性は、すでに説明したように共通にしてもよいし、階調変換後の２系統のＲＧＢ信号の振幅レベルの差異が許容できる範囲で、異なる特性としてもよい。また、図６の符号４０２で示す特性は曲線であるが、入力値が一律のゲインで増幅されるような線形な特性としてもよい。その一例として、図６の原点Ｏと点Ａを直線で結んだ線形な特性とすることができる。なお、階調変換の前後でそれぞれのＲＧＢ信号の信号値の比が保たれるような変換特性であれば、２系統のＲＧＢ信号の振幅レベルの差が増幅されるのを抑制することができるので、線形変換以外にべき乗の変換であってもよい。

一方、信号統合部２０４で統合された後の第３の階調変換部２０５では、図７に示すような入出力特性で階調変換を行う。符号５００で示す領域は、図６の符号５００で示す領域と対応している。１段階目の第１及び第２の階調変換部２０２，２０３で階調変換された後の、符号５００で示す領域の出力信号レベルは、ＨＤＲモニタに対応したＥＯＴＦの逆特性に対して、振幅レベルが低くなっている。そのため、２段階目の階調変換である第３の階調変換部２０５による階調変換では、１段階目の階調変換で不足する振幅レベルの増幅を行うよう、階調変換を行う。

なお、この２段階の階調変換は、別の表現をすれば、信号統合部２０４で統合する前の１段階目では、相対的に非線形性の弱い階調変換を行い、信号統合部２０４で統合した後の２段階目では、相対的に１段階目の階調変換よりも非線形性の強い階調変換を行うと表現することもできる。そして、これらの２段階の階調変換を組み合わせて、最終的にＨＤＲモニタに対応したＥＯＴＦの逆特性となるように階調変換を行う。

以上のように、本実施形態では、撮像部１０３で取得されたリニアな階調特性の入力画像に対して、輝度用、色差用に分けて、それぞれ最適な画像処理を行う。そして、輝度用、色差用に分けた状態における第１及び第２の階調変換部による１段階目の階調変換と、信号を統合した後の第３の階調変換部による２段階目の階調変換を組み合わせて、ＨＤＲモニタに対応したＥＯＴＦの逆特性となる階調変換を行う。これにより、輝度用と色差用の信号処理系の違いに起因して発生する偽信号を、階調変換によって強調することなく、撮像部で取得されたシーンの輝度を、ＨＤＲモニタ上の輝度として再現することができる。

なお、本実施形態では、第１及び第２の階調変換部、第３の階調変換部で階調変換を行う色空間を、ＲＧＢとしたが、ＸＹＺ、ＬＭＳなど、他の混色系表色系の色空間で変換処理を行ってもよい。

（第２の実施形態）
以下、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。この第２の実施形態のデジタルカメラは、外面的には、図１に示した第１の実施形態のデジタルカメラと同じであり、画像処理部１０５の構成のみが、第１の実施形態と異なる。以下では、この第１の実施形態と異なる部分についてのみ説明する。

図８は、第２の実施形態における画像処理部１０５の構成を示す図である。第１の実施形態と同じ作用をする構成要素については、説明を省略する。図８において、輝度用信号生成部２００は、入力画像から、輝度信号に適したＲＧＢの信号成分を生成する。色差用信号生成部２０１は、入力画像から、色差信号に適したＲＧＢの信号成分を生成する。

第１の階調変換部２０２と第２の階調変換部２０３の出力は、信号統合部２０４に入力される。信号統合部２０４は、第１の階調変換部２０２、第２の階調変換部２０３から出力される、輝度信号用と色差信号用の２系統のＲＧＢ信号を統合して、１系統のＲＧＢ信号を生成する。信号統合部２０４の出力は、色輝度分離部２０６に入力される。色輝度分離部２０６は、信号統合部２０４から出力されるＲＧＢ信号から、輝度信号と色差信号を分離する。

色輝度分離部２０６の出力は、第４の階調変換部２０７に入力される。第４の階調変換部２０７は、色輝度分離部２０６から出力される輝度信号及び色差信号に対して、ＹＵＶ色空間で第４の階調変換を行う。第４の階調変換部２０７から出力される輝度信号及び色差信号は、画像メモリ１０６またはコーデック部１１０を経由して、外部出力端子１１３からＨＤＲモニタに入力される。

第２の実施形態では、ＨＤＲモニタに対応したＥＯＴＦの逆特性を、１段階目の第１及び第２の階調変換部２０２，２０３と、２段階目の第４の階調変換部２０７の２段階に分けて適用する。信号統合部２０４で統合される前の、１段階目の第１及び第２の階調変換部２０２，２０３では、輝度系と色差系の２系統のＲＧＢ信号の振幅レベルの差異が著しく増幅されないようにする。具体的には、図６に符号５００で示す領域において、ＨＤＲモニタに対応したＥＯＴＦの逆特性４０１よりも、暗部の立ち上がりが小さくなるような特性で階調変換を行う。このときの入出力特性は、例えば図６に符号４０２で示すような特性となる。なお、第１の階調変換部２０２と第２の階調変換部２０３における階調変換の特性は、すでに説明したように共通にしてもよいし、階調変換後の２系統のＲＧＢ信号の振幅レベルの差異が許容できる範囲で、異なる特性としてもよい。また、図６の符号４０２で示す特性は曲線であるが、入力値が一律のゲインで増幅されるような線形な特性としてもよい。

一方、色輝度分離部２０６で輝度信号と色差信号が分離された後の第４の階調変換部２０７では、図７に示すようなＲＧＢ空間での入出力特性を、ＹＵＶ空間に変換した上で、階調変換を行う。符号５００で示す領域は、図６の符号５００で示す領域と対応している。１段階目の第１及び第２の階調変換部２０２，２０３で階調変換された後の、符号５００で示す領域の出力信号レベルは、ＨＤＲモニタに対応したＥＯＴＦの逆特性に対して、振幅レベルが低くなっている。そのため、２段階目の階調変換である第４の階調変換部２０７による階調変換では、１段階目の階調変換で不足する振幅レベルの増幅をＹＵＶ空間で行うよう、階調変変換を行う。具体的には、図７のＲＧＢ空間での階調変換特性に基づいて、ＹＵＶ空間での３Ｄルックアップテーブルを作成し、色輝度分離部２０６から出力される輝度信号及び色差信号に対して、それぞれ１段階目の階調変換で不足する振幅レベルを増幅する。

以上のように、第２の実施形態においても、撮像部１０３で取得されたリニアな階調特性の入力画像に対して、輝度用、色差用に分けて、それぞれ最適な画像処理を行う。そして、輝度用、色差用に分けた状態における第１及び第２の階調変換部による１段階目の階調変換と、信号を統合した後の第４の階調変換部による２段階目の階調変換を組み合わせて、ＨＤＲモニタに対応したＥＯＴＦの逆特性となる階調変換を行う。これにより、輝度用と色差用の信号処理系の違いに起因して発生する偽信号を、階調変換によって強調することなく、撮像部で取得されたシーンの輝度を、ＨＤＲモニタ上の輝度として再現することができる。

なお、本実施形態では、第１及び第２の階調変換部で階調変換を行う色空間を、ＲＧＢとしたが、ＸＹＺ、ＬＭＳなど、他の混色系表色系の色空間で変換処理を行ってもよい。また、第４の階調変換部での変換を行う色空間をＹＵＶとしたが、ＩＣｔＣｐなど、色輝度分離形式の他の色空間で変換処理を行ってもよい。

（第３の実施形態）
以下、本発明の画像処理装置の第３の実施形態であるデジタルカメラについて説明する。この第３の実施形態のデジタルカメラは、外面的には、図１に示した第１の実施形態のデジタルカメラと同じであり、画像処理部１０５の構成のみが、第１の実施形態と異なる。以下では、この第１の実施形態と異なる部分についてのみ説明する。

図９は、第３の実施形態における画像処理部１０５の構成を示す図である。第１の実施形態と同じ作用をする構成要素については、説明を省略する。図９において、輝度用信号生成部２００は、入力画像から、輝度信号に適したＲＧＢの信号成分を生成する。色差用信号生成部２０１は、入力画像から、色差信号に適したＲＧＢの信号成分を生成する。

第１の階調変換部２０２と第２の階調変換部２０３の出力は、信号統合部２０４に入力される。信号統合部２０４は、第１の階調変換部２０２、第２の階調変換部２０３から出力される、輝度信号用と色差信号用の２系統のＲＧＢ信号を統合して、１系統のＲＧＢ信号を生成する。

信号統合部２０４の出力は、第５の階調変換部２０８、第６の階調変換部２０９に入力される。第５の階調変換部２０８は、信号統合部２０４から出力されるＲＧＢ信号に対して、輝度出力用の第５の階調変換を行う。第６の階調変換部２０９は、信号統合部２０４から出力されるＲＧＢ信号に対して、色差出力用の第６の階調変換を行う。

第５の階調変換部２０８の出力は、輝度分離部２１０に入力される。輝度分離部２１０は、第５の階調変換部２０８から出力されるＲＧＢ信号から、輝度信号を分離する。第６の階調変換部２０９の出力は、色差分離部２１１に入力される。色差分離部２１１は、第６の階調変換部２０９から出力されるＲＧＢ信号から、色差信号を分離する。

輝度分離部２１０、色差分離部２１１から出力される輝度及び色差信号は、画像メモリ１０６、またはコーデック部１１０を経由して、外部出力端子１１３からＨＤＲモニタに入力される。

第３の実施形態では、ＨＤＲモニタに対応したＥＯＴＦの逆特性を、１段階目の第１及び第２の階調変換部２０２，２０３と、２段階目の第５及び第６の階調変換部２０８，２０９の２段階に分けて適用する。信号統合部２０４で統合される前の、１段階目の第１及び第２の階調変換部２０２，２０３では、輝度系と色差系の２系統のＲＧＢ信号の振幅レベルの差異が著しく増幅されないようにする。具体的には、図６に符号５００で示す領域において、ＨＤＲモニタに対応したＥＯＴＦの逆特性４０１よりも、暗部の立ち上がりが小さくなるような特性で階調変換を行う。このときの入出力特性は、例えば図６に符号４０２で示すような特性となる。なお、第１の階調変換部２０２と第２の階調変換部２０３における、階調変換の特性は、すでに説明したように共通にしてもよいし、階調変換後の２系統のＲＧＢ信号の振幅レベルの差異が許容できる範囲で、異なる特性としてもよい。また、図６の符号４０２で示す特性は曲線であるが、入力値が一律のゲインで増幅されるような線形な特性としてもよい。

一方、信号統合部２０４で統合された後の第５の階調変換部２０８では、図１０の符号７０１で示すような入出力特性で、階調変換を行う。符号５００で示す領域は、図６の符号５００で示す領域と対応している。１段階目の第１及び第２の階調変換部２０２，２０３で階調変換された後の、符号５００で示す領域の出力信号レベルは、ＨＤＲモニタに対応したＥＯＴＦの逆特性に対して、振幅レベルが低くなっている。そのため、２段階目の階調変換である第５の階調変換部２０８による階調変換では、１段階目の階調変換で不足する振幅レベルの増幅を行うよう、階調変換を行う。

また、信号統合手段２０４で統合された後の第６の階調変換部２０９では、図１０の符号７０３で示すような入手力特性で、階調変換を行う。符号５００で示す領域は、図６の符号５００で示す領域と対応している。１段階目の第１及び第２の階調変換部２０２，２０３で階調変換された後の、符号５００で示す領域の出力信号レベルは、ＨＤＲモニタに対応したＥＯＴＦの逆特性に対して、振幅レベルが低くなっている。そのため、２段階目の階調変換である第６の階調変換部２０９による階調変換では、符号５００で示す領域において、１段階目の階調変換で不足する振幅レベルの増幅を行うよう、階調変換を行う。また、入力信号の振幅レベルが相対的に大きい符号５０１で示す領域では、第５の階調変換部２０８と異なる階調変換特性で、階調変換を行う。例えば、第５の階調変換部２０８による階調変換を符号７０１で示す特性で行い、第６の階調変換部２０９による階調変換を符号７０３で示す特性で行う。こうすると、最終的に出力される輝度用のＲＧＢ信号、色差用のＲＧＢ信号の階調再現特性は、それぞれ図１１に符号４０１，４０３で示される特性となる。そのため、ハイライト側の輝度、彩度のグラデーションを微調整することが可能になる。ここで、第５の階調変換部２０８と第６の階調変換部２０９の階調変換特性の調整は、信号統合部２０４で統合された、輝度用と色差用のＲＧＢ信号の差異、特に、ノイズ成分や、前述した２系統の内の一方の系統に多く含まれる信号の振幅レベルを、増幅しすぎない程度に調整するものとする。

以上のように、第３の実施形態においても、撮像部１０３で取得されたリニアな階調特性の入力画像に対して、輝度用、色差用に分けて、それぞれ最適な画像処理を行う。そして、輝度用、色差用に分けた状態における第１及び第２の階調変換部による１段階目の階調変換と、信号を統合した後の第５及び第６の階調変換部による２段階目の階調変換を組み合わせて、ＨＤＲモニタに対応したＥＯＴＦの逆特性となる階調変換を行う。これにより、輝度用と色差用の信号処理系の違いに起因して発生する偽信号を、階調変換によって強調することなく、撮像部で取得されたシーンの輝度を、ＨＤＲモニタ上の輝度として再現することができる。

さらに、輝度用と色差用のＲＧＢ信号を統合した後に行う、第５の階調変換、第６の階調変換において階調変換特性を変更することにより、最終的に出力される輝度信号と色信号の色階調再現性を、ユーザーの好みやシーンに応じて調整することができる。

なお、本実施形態では、第１、第２、第５、第６の階調変換部により階調変換を行う色空間をＲＧＢとしたが、ＸＹＺ、ＬＭＳなど、他の混色系表色系の色空間で変換処理を行ってもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１０５：画像処理部、２００：輝度用信号生成部、２０１：色差用信号生成部、２０２：第１の階調変換部、２０３：第２の階調変換部、２０４：信号統合部、２０５：第３の階調変換部、２０６：色輝度分離部

Claims

入力画像信号の信号レベルとモニタに出力するための出力画像信号の信号レベルの関係を示す曲線が目標とする目標曲線となるように、入力画像信号に対して階調変換を行う画像処理装置であって、
入力画像信号から、輝度信号用の色信号成分を生成する第１の生成手段と、
入力画像信号から、色差信号用の色信号成分を生成する第２の生成手段と、
前記輝度信号用の色信号成分に対して第１の階調変換特性を用いて第１の階調変換を行う第１の階調変換手段と、
前記色差信号用の色信号成分に対して第２の階調変換特性を用いて第２の階調変換を行う第２の階調変換手段と、
前記第１の階調変換手段の出力と前記第２の階調変換手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、
前記第３の生成手段により処理された後の信号に対して第３の階調変換特性を用いて第３の階調変換を行う第３の階調変換手段と、を備え、
前記第１および第２の階調変換特性は、前記入力画像信号の少なくとも一部の値の範囲に対し、前記目標曲線にしたがった階調変換を行う場合よりも少ない増幅率で階調変換を行う特性であり、前記第３の階調変換特性は、前記第３の生成手段により生成された信号に対し、前記入力画像信号を前記目標曲線にしたがって階調変換した場合と同じ値になるよう階調変換を行う特性であることを特徴とする画像処理装置。
前記第１の階調変換特性と前記第２の階調変換特性は、前記第１の階調変換手段から出力される色信号成分と、前記第２の階調変換手段から出力される色信号成分の信号レベルの差が所定のレベル以下になるような特性であることを特徴とする請求項１に記載の画像処理装置。
前記第３の階調変換特性は、前記第１の階調変換特性と前記第２の階調変換特性よりも、入力信号の低輝度部に対する信号レベルの増幅の程度が大きいことを特徴とする請求項１または２に記載の画像処理装置。
前記第１の階調変換手段と前記第２の階調変換手段は、互いに同じ特性の階調変換を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記第１および第２の階調変換特性は、入力信号の信号レベルと出力信号の信号レベルの関係を表す曲線が直線となる特性を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記目標曲線は、ハイダイナミックレンジに対応するモニタのＥＯＴＦ（Electro Optical Transfer Function）の逆特性となる曲線であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記色信号成分は、ＲＧＢの信号成分であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記第３の階調変換手段から出力される色信号成分を、輝度信号成分と色差信号成分とに分離する分離手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記第３の生成手段から出力される前記共通の色信号成分を、輝度信号成分と色差信号成分とに分離する分離手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記第３の階調変換手段は、ＲＧＢ空間での入出力特性を、ＹＵＶ空間に変換した上で階調変換を行う第４の階調変換手段を含むことを特徴とする請求項９に記載の画像処理装置。
前記第３の階調変換手段は、前記第３の生成手段から出力される色信号成分に対して、輝度出力用の階調変換を行う第５の階調変換手段と、前記第３の生成手段から出力される色信号成分に対して、色差出力用の階調変換を行う第６の階調変換手段とを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記第５の階調変換手段と前記第６の階調変換手段は、互いに異なる特性の階調変換を行うことを特徴とする請求項１１に記載の画像処理装置。
入力画像信号に対して階調変換を行う画像処理装置であって、
入力画像信号から、輝度信号用の色信号成分を生成する第１の生成手段と、
入力画像信号から、色差信号用の色信号成分を生成する第２の生成手段と、
前記輝度信号用の色信号成分に対して第１の階調変換特性を用いて第１の階調変換を行う第１の階調変換手段と、
前記色差信号用の色信号成分に対して第２の階調変換特性を用いて第２の階調変換を行う第２の階調変換手段と、
前記第１の階調変換手段の出力と前記第２の階調変換手段の出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成手段と、
前記第３の生成手段により処理された後の信号に対して第３の階調変換を行う第３の階調変換手段と、を備え、
前記第１および第２の階調変換手段は、相対的に非線形性の弱い階調変換を行い、前記第３の階調変換手段は、相対的に前記第１および第２の階調変換手段よりも非線形性の強い階調変換を行うことを特徴とする画像処理装置。
前記画像処理装置は、入力画像信号の信号レベルと出力画像信号の信号レベルの関係を示す曲線が目標とする目標曲線となるように、入力画像信号に対して階調変換を行う画像処理装置であって、
前記第１および第２の階調変換手段は、前記入力画像信号の信号レベルと出力画像信号の信号レベルの関係を示す曲線が前記目標曲線に一致するよりも少ない変換量で階調変換を行い、前記第３の階調変換手段は、前記第１および第２の階調変換手段で階調変換した後に残った前記目標曲線との差分に対応する変換量で階調変換を行うことを特徴とする請求項１３に記載の画像処理装置。
入力画像信号の信号レベルとモニタに出力するための出力画像信号の信号レベルの関係を示す曲線が目標とする目標曲線となるように、入力画像信号に対して階調変換を行う画像処理方法であって、
入力画像信号から、輝度信号用の色信号成分を生成する第１の生成工程と、
入力画像信号から、色差信号用の色信号成分を生成する第２の生成工程と、
前記輝度信号用の色信号成分に対して第１の階調変換特性を用いて第１の階調変換を行う第１の階調変換工程と、
前記色差信号用の色信号成分に対して第２の階調変換特性を用いて第２の階調変換を行う第２の階調変換工程と、
前記第１の階調変換工程からの出力と前記第２の階調変換工程からの出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成工程と、
前記第３の生成工程において処理された後の信号に対して第３の階調変換特性を用いて第３の階調変換を行う第３の階調変換工程と、を有し、
前記第１および第２の階調変換特性は、前記入力画像信号の少なくとも一部の値の範囲に対し、前記目標曲線にしたがった階調変換を行う場合よりも少ない増幅率で階調変換を行う特性であり、前記第３の階調変換特性は、前記第３の生成工程において生成された信号に対し、前記入力画像信号を前記目標曲線にしたがって階調変換した場合と同じ値になるよう階調変換を行う特性であることを特徴とする画像処理方法。
入力画像信号に対して階調変換を行う画像処理方法であって、
入力画像信号から、輝度信号用の色信号成分を生成する第１の生成工程と、
入力画像信号から、色差信号用の色信号成分を生成する第２の生成工程と、
前記輝度信号用の色信号成分に対して第１の階調変換を行う第１の階調変換工程と、
前記色差信号用の色信号成分に対して第２の階調変換を行う第２の階調変換工程と、
前記第１の階調変換工程からの出力と前記第２の階調変換工程からの出力を合成して、輝度信号用と色差信号用に共通の色信号成分を生成する第３の生成工程と、
前記第３の生成工程において処理された後の信号に対して第３の階調変換を行う第３の階調変換工程と、を有し、
前記第１および第２の階調変換工程では、相対的に非線形性の弱い階調変換を行い、前記第３の階調変換工程では、相対的に前記第１および第２の階調変換工程よりも非線形性の強い階調変換を行うことを特徴とする画像処理方法。
請求項１５または１６に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
請求項１５または１６に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。