JP2011250260A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ダイナミックレンジの圧縮後に色温度や彩度・色相が変わることなく、コントラスト、彩度が過度になるのを抑制した画像処理装置を提供する。
【解決手段】輝度信号と第１，第２の色差信号を入力する信号供給部と、前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第１、第２の色差信号に乗算して出力する乗算部とを具備する。
【選択図】図１

Description

本発明は、カメラで撮影した広ダイナミックレンジの画像信号を圧縮処理する画像処理装置及び画像処理方法に関する。

従来、車載用カメラや防犯用の監視カメラが普及しており、例えば車両にカメラを搭載して車両周辺の映像を撮影してディスプレイに表示し、運転者の支援を図っている。ところで、車載用カメラの撮像環境は晴天下から暗がりまであり、広ダイナミックレンジが要求される。例えば、照度０．１５〜１５００００ｌｘを想定するとダイナミックレンジは１２０ｄＢとなり、２０ｂｉｔデータ幅が必要になる。またカメラで撮影した画像を圧縮処理する場合、一般にイメージセンサの光電変換部に非線形回路を導入し、光入力１２０ｄＢを圧縮して１０〜１２ｂｉｔ程度の信号を出力するようにしている。

一方、カメラで撮影された画像を表示する車載用のディスプレイ装置のダイナミックレンジは、３６ｄＢ〜４８ｄＢ (６〜８ｂｉｔ）程度であり、広ダイナミックレンジの画像信号をディスプレイ装置に表示するには、更にダイナミックレンジの圧縮が必要である。しかしながら、単純に１０〜１２ｂｉｔを６〜８ｂｉｔに圧縮すると、コントラストの低い視認性の悪い画像になってしまう。

また従来のダイナミックレンジ圧縮技術として、非特許文献１に記載のようなＲｅｔｉｎｅｘモデルを用いる例が周知である。非特許文献１には視覚特性を考慮したＲｅｔｉｎｅｘモデルと、画像の領域毎に適したマッピンクカーブを作成する手法を用いて撮影画像の明るさやコントラストを見やすく自動で変換する画像処理技術が開示されている。

この非特許文献１では、反射率成分と照明明光成分をそれぞれ抽出する成分抽出部と、反射率成分の強度を変換する強度変換部と、照明光成分を領域分割し領域毎に適したマッピングカーブを作成してトーンマッピングを行うトーンマッピング部を有している。

また特許文献１には、入力画像のダイナミックレンジを圧縮する画像処理装置について開示されている。この特許文献１の例では、入力画像から照明成分と反射率成分をそれぞれ抽出する抽出手段と、抽出した照明成分のダイナミックレンジを圧縮する圧縮手段と、圧縮された照明成分と抽出された反射率成分を合成する合成手段とを備えている。

特許文献１では、ベイヤ配列のような周期的に分光感度の異なる画素（ＲＧＢ）配列をもった光電変換信号から、同様に周期的なダウンサンプリングに基づく処理を階層的に行い、照明成分Ｌの推定を行っている。即ち、３つの異なる信号（ＲＧＢ）が夫々独立な処理を受け、ＲＧＢの夫々についての照明成分を推定し、この照明成分を用いてＲＧＢ各々の反射率成分を求め、夫々の照明成分を圧縮し、夫々の反射率成分との積により圧縮されたＲ’Ｇ’Ｂ’を得るようにしている。

しかしながら、上記した従来の圧縮技術では、ＲＧＢ信号夫々が非線形な処理を受けるため、入力ＲＧＢ信号の相対レベルに対して出力ＲＧＢ信号の相対レベルが常に同一となる保証はない。このため、画像の内容によっては色温度及び彩度・色相が入力と出力では異なる場合が現れる。また、Ｒｅｔｉｎｅｘモデルに基づく圧縮においては、照明成分が圧縮されるため相対的に反射成分の寄与が大きくなり、圧縮率を大きく設定するとコントラスト、彩度が過度になる可能性がある。

東芝レビュー Vol.64,No.6(2009)「撮影画像の明るさ最適化技術ContrastMagic ＴＭ」

特開２００９−７７２７４号公報

従来の圧縮技術では、ＲＧＢ信号夫々が非線形な処理を受けるため、入力ＲＧＢ信号の相対レベルに対して出力ＲＧＢ信号の相対レベルが常に同一となる保証がなく、画像の内容によっては、色温度及び彩度・色相が入力と出力では異なる場合が現れる。また、Ｒｅｔｉｎｅｘモデルに基づく圧縮においては、照明成分が圧縮されるため相対的に反射成分の寄与が大きくなり、コントラスト、彩度が過度になる可能性がある。

本発明はこのような事情に鑑み、ダイナミックレンジの圧縮後に色温度や彩度・色相が変わることなく、コントラスト、彩度が過度になるのを抑制した画像処理装置及び画像処理方法を提供することを目的とする。

請求項１記載の実施形態による画像処理装置は、輝度信号と第１，第２の色差信号を入力する信号供給部と、前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第１、第２の色差信号に乗算して出力する乗算部とを具備し、変換された輝度信号と色差信号を出力することを特徴とする。

請求項４記載の実施形態による画像処理装置は、輝度信号と第１，第２の色差信号を入力する信号供給部と、前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた第１の係数αを前記第１、第２の色差信号に乗算して出力する第１の乗算部と、特定の色領域を設定し、前記特定の色領域に前記第１、第２の色差信号が存在する場合に、前記第１の係数αに第２の係数β（＞１）を乗算して色差信号を増大して出力する第２の乗算部と、を具備することを特徴とする。

また請求項５記載の実施形態による画像処理方法は、輝度信号と第１，第２の色差信号を入力し、前記入力された輝度信号のダイナミックレンジを圧縮して出力し、前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第１、第２の色差信号に乗算して出力することを特徴とする。

本発明の実施形態による画像処理装置によれば、ダイナミックレンジの圧縮前と後とで色温度及び彩度・色相が変わることはなく、ダイナミックレンジの圧縮後に過度な彩度になるのを防ぐことができる。また予め設定した色領域の信号の彩度を強調して出力することができる。

本発明の一実施形態に係る画像処理装置の全体構成を示すブロック図。 ダイナミックレンジ圧縮部の一例を示すブロック図。 図２のダイナミックレンジ圧縮部の入出力特性を示す特性図。 色判定部で設定する特定の色領域を説明する色度図。

以下、この発明の一実施形態について図面を参照して説明する。

図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。図１において画像処理装置１０は、カメラ２０で撮影して得たＲＧＢ信号を輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）に変換するマトリクス回路１１と、輝度信号Ｙのダイナミックレンジを圧縮するダイナミックレンジ圧縮部１２（以下、単に圧縮部１２と称す）を備える。マトリクス回路１１は、輝度信号と第１，第２の色差信号を入力する信号供給部を構成する。

また圧縮前の輝度信号Ｙと圧縮後の輝度信号Ｙ’との比率（Y’/Y）によって決まる係数αを算出する算出部１３と、算出部１３で算出した係数α（＝Y’/Y）を色差信Ｕ，Ｖに乗じて出力色差信号Ｕ’，Ｖ’得る乗算回路１４，１５を備える。さらに、色判定部１７によって特定の色領域（例えば、赤、黄、青）を予め設定し、色差信号Ｕ，Ｖが特定の色領域に相当すると判断した場合に、色差信号Ｕ，Ｖに乗じる係数αに適当な係数β（＞１）を乗じて、特定の色領域の彩度を強調する乗算回路１６とを備える。

また圧縮された輝度信号Ｙ’と、所定の係数が乗算された色差信号Ｕ’，Ｖ’をＲＧＢ信号に変換し、出力Ｒ’，Ｇ’，Ｂ’信号を得る変換回路１８を備え、出力Ｒ’，Ｇ’，Ｂ’信号をディスプレイ装置３０に供給するようにしている。

図１の実施形態では、広ダイナミックレンジのカメラ出力（ＲＧＢ信号）をマトリックス回路１１で輝度信号Ｙと、色差信号Ｕ，Ｖに変換した後、圧縮部１２で輝度信号Ｙのダイナミックレンジを圧縮してＹ’に変換する。次いで算出部１３で係数α（＝Y’/Y）を求め、乗算部１４，１５で色差信号Ｕ，Ｖに係数αを乗じて色差信号Ｕ’，Ｖ’を得る。Ｙ’，Ｕ’，Ｖ’信号を以下、変換出力と呼ぶ場合もある。

変換出力Ｙ’，Ｕ’，Ｖ’は、輝度信号ＹをＹ’に圧縮変換するので、色温度は圧縮後も変わらない。また色差信号Ｕ，Ｖは、夫々同じ係数α（＝Y’/Y）を乗じて色差信号Ｕ’，Ｖ’に変換するので、輝度と同じ割合でダイナミックレンジが圧縮され、過度な彩度は防止され色相も変わらない。

図２は、ダイナミックレンジ圧縮部１２の一例を示すブロック図である。ダイナミックレンジ圧縮部１２は、例えばＲｅｔｉｎｅｘモデルに基づく手法で輝度信号Ｙのダイナミックレンジを圧縮してＹ’信号に変換するもので、照明成分検出部１２１と、圧縮部１２２と、反射率成分検出部１２３と、乗算回路１２４を含む。

Ｒｅｔｉｎｅｘによると、入力画素値Ｉは、照明光成分Ｌと反射率成分Ｒの積、つまり、Ｉ＝Ｌ×Ｒによってモデル化できる。照明光成分Ｌは被写体に照射された照明光の成分であり、反射率成分Ｒは被写体の画像成分である。

照明成分検出部１２１は、入力画素値Ｉから例えばローパスフィルタを用いたフィルタ処理により画素毎の照明光成分Ｌを検出する。圧縮部１２２は、照明成分検出部１２１で検出した照明成分のダイナミックレンジを予め設定した圧縮特性で圧縮するもので、例えば照明成分Ｌの増加に対して出力照明成分Ｌ’の傾きが緩やかになる放物線特性を有する。

反射率成分検出部１２３は、入力画素値Ｉから例えばハイパスフィルタを用いたフィルタ処理により画素毎の反射率成分Ｒを検出する。乗算回路１２４は、ダイナミックレンジが圧縮された照明成分Ｌ’と反射率成分Ｒの乗算を行い、出力画素値Ｉ’＝Ｌ‘×Ｒを生成する。

図３は、図２のダイナミックレンジ圧縮部１２の入出力特性を示す特性図である。図３（ａ）は入力された照明成分と反射率成分を示し、（ｂ）は出力された照明成分と反射率成分を示す。図３から分かるようにダイナミックレンジの圧縮は照明成分に対して行われ、反射率成分の圧縮は行われない。したがって、コントラストが低下して視認性が悪くなるのを防ぐことができる。

また、図１の色判定部１７は、特定の色領域（例えば、赤、黄、青）を予め設定し、特定の色領域に色差信号Ｕ，Ｖが存在すると判断した場合に、乗算回路１６は、色差信号Ｕ，Ｖに乗じる係数αに適当な係数β（＞１）を乗じて、特定の色領域の彩度を上げて強調するようにしている。

例えば、車載用のカメラで車両周辺の映像を撮影する場合、緊急車両の警告灯の色領域は赤、黄、青の成分を含んでいる。したがって、警告灯を正確に撮影したい場合は、予め赤、黄、青の色領域を設定し、色差信号Ｕ，Ｖがこの色領域に相当すると判断したときには、色差信号Ｕ，Ｖに乗じる係数αに係数β（＞１）を乗じて、警告灯の色領域の彩度を上げるようにしている。これによりディスプレイ３０に表示したとき警告灯の色領域の彩度を強調表示することができる。

図４は、色判定部１７で設定する特定の色領域を説明する色度図である。図４において、ＲＧＢで示す三角形はディスプレイ３０で現わせる色範囲であり、色判定部１７で設定する色領域を３つの円（赤、黄、青）で示している。尚、色判定部１７で設定する色領域は、赤、黄、青に限らず、他の色領域を設定することもできる。

以上説明した実施形態によれば、輝度信号ＹをＹ’に圧縮変換するので、単にレベルが変わるだけであり、色温度は圧縮後も変わらない。また色差信号Ｕ，Ｖに同じ係数α（＝Y’/Y）を乗じて色差信号Ｕ’，Ｖ’に圧縮変換するのでＹ’，Ｕ’，Ｖ’の相対的なレベルは変わらず、ダイナミックレンジの圧縮前と後とで彩度・色相が変わることはない。また輝度と同じレベルで色差信号Ｕ，Ｖが圧縮されるため、圧縮後に過度な彩度になるのをこと防ぐことができる。また予め設定した色領域の信号の彩度を強調して出力することができ、特定の色領域、例えば緊急車両の警告灯を強調して表示することができ、車両用のカメラ等の画像を表示する場合に有効である。

尚、以上説明した実施形態による画像処理装置は、車両用に限らず監視用カメラ等で得た画像を処理する場合にも適用することができ、本発明の実施形態は、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

１０…画像処理装置
１１・・・マトリクス回路
１２…ダイナミックレンジ圧縮部
１３…算出部
１４，１５…係数αの乗算部
１６…係数βの乗算部
１７…色判定部
１８…変換部
２０…カメラ
３０…ディスプレイ
１２１…照明成分検出部
１２２…圧縮部
１２３…反射率成分検出部
１２４…乗算部

Claims (7)

1. 輝度信号と第１，第２の色差信号を入力する信号供給部と、
   前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、
   前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第１、第２の色差信号に乗算して出力する乗算部と、を具備し、
   変換された輝度信号と色差信号を出力することを特徴とする画像処理装置。
2. 前記信号供給部は、カメラで撮影して得たＲＧＢ信号を輝度信号Ｙと第１、第２の色差信号Ｕ，Ｖに変換するマトリクス回路を含み、
   前記ダイナミックレンジ圧縮部は前記輝度信号Ｙのダイナミックレンジを圧縮した輝度信号Ｙ’を出力し、
   前記乗算部は、前記係数（α＝Y’/Y）を前記第１、第２の色差信号Ｕ，Ｖに乗算して出力することを特徴とする請求項１記載の画像処理装置。
3. 前記ダイナミックレンジが圧縮された輝度信号Ｙ’、及び前記係数αが乗算された第１、第２の色差信号Ｕ’，Ｖ’をＲＧＢに変換する変換回路を備えたことを特徴とする請求項２記載の画像処理装置。
4. 輝度信号と第１，第２の色差信号を入力する信号供給部と、
   前記入力された輝度信号のダイナミックレンジを圧縮して出力するダイナミックレンジ圧縮部と、
   前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた第１の係数αを前記第１、第２の色差信号に乗算して出力する第１の乗算部と、
   特定の色領域を設定し、前記特定の色領域に前記第１、第２の色差信号が存在する場合に、前記第１の係数αに第２の係数β（＞１）を乗算して色差信号を増大して出力する第２の乗算部と、を具備することを特徴とする画像処理装置。
5. 輝度信号と第１，第２の色差信号を入力し、
   前記入力された輝度信号のダイナミックレンジを圧縮して出力し、
   前記ダイナミックレンジが圧縮された輝度信号と前記入力された輝度信号との比率に応じた係数を前記第１、第２の色差信号に乗算して出力することを特徴とする画像処理方法。
6. 前記ダイナミックレンジが圧縮された輝度信号、及び前記係数が乗算された第１、第２の色差信号をＲＧＢに変換してディスプレイに供給することを特徴とする請求項５記載の画像処理方法。
7. 特定の色領域を設定し、前記特定の色領域に前記第１、第２の色差信号が存在する場合に、前記係数に第２の係数（＞１）を乗算して色差信号を増大して出力することを特徴とする請求項５記載の画像処理方法。

Images