JP2011180925A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】高品質な画像を提供することができる画像処理装置、撮像装置及び画像処理方法を提供する。
【解決手段】ダイナミックレンジ圧縮部１１０は、入力された画像データ上の位置に応じてトーンカーブの特性を変化させ、画像データのダイナミックレンジを圧縮する。座標変換部１７０は、ダイナミックレンジが圧縮された画像データの座標を変換する。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置及び画像処理方法に関する。

近年、車のバックモニタなどにおいて、広画角で歪曲収差が大きい魚眼カメラで撮像された画像を座標変換することにより画像の歪みを補正して、ユーザが見易い画像に補正する技術が知られている（例えば、特許文献１参照）。

また、一般的に、画像を撮像するイメージセンサなどのセンサではダイナミックレンジは広域化されているが、撮像された画像を出力する表示装置などの出力系ではダイナミックレンジは広域化されていない。色深度を示す１ピクセルあたりの出力ビット数は、例えば、センサが１２ｂｉｔであり、出力系が８ｂｉｔとなっている。

このような状況の下、屋外と屋内又は日陰と日向などが撮像されたダイナミックレンジが広い画像を出力系で出力すると、黒つぶれや白とびした部分が発生してしまう。このため、例えば特許文献２、３には、撮像された画像のダイナミックレンジを出力系の特性に合わせて圧縮するダイナミックレンジ圧縮技術が開示されている。

ところで、ダイナミックレンジの圧縮は、出力系の特性に合わせて行うものであり、また、各種画像処理で扱えるビット数を高くしておくため、一般的に、画像処理の後段（出力系に出力する直前）で行われる。このため、上述した座標変換とダイナミックレンジ圧縮を行う場合には、座標変換、ダイナミックレンジ圧縮の順序で行うことになる。

しかしながら、座標変換、ダイナミックレンジ圧縮の順序で行うと、座標変換で変換された画像の拡大率の影響で、ダイナミックレンジ圧縮を行った画像にリンギングやアーティファクトなどが発生してしまい、画像品質が低下してしまう。

本発明は、上記事情に鑑みてなされたものであり、高品質な画像を提供することができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる画像処理装置は、入力された画像データ上の位置に応じてトーンカーブの特性を変化させ、前記画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、前記ダイナミックレンジが圧縮された前記画像データの座標を変換する座標変換手段と、を備えることを特徴とする。

また、本発明の別の態様にかかる撮像装置は、上記画像処理装置と、広角光学系と、前記広角光学系を通して入射される被写体像を画像データに変換し、変換した画像データを前記画像処理装置に入力するイメージセンサと、を備えることを特徴とする。

また、本発明の別の態様にかかる画像処理方法は、ダイナミックレンジ圧縮手段が、入力された画像データ上の位置に応じてトーンカーブの特性を変化させ、前記画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮ステップと、座標変換手段が、前記ダイナミックレンジが圧縮された前記画像データの座標を変換する座標変換ステップと、を含むことを特徴とする。

本発明によれば、高品質な画像を提供することができるという効果を奏する。

図１は、第１実施形態の画像処理装置の構成例を示すブロック図である。 図２は、イメージセンサから出力される画像データ例を示す図である。 図３は、図２に示す画像データのダイナミックレンジを圧縮した画像データ例を示す図である。 図４は、図３に示す画像データの座標を変換した画像データ例を示す図である。 図５は、図２に示す画像データの座標を変換した後にダイナミックレンジを圧縮した画像データ例を示す図である。 図６は、第１実施形態のダイナミックレンジ圧縮部の構成例を示すブロック図である。 図７は、第１実施形態の輝度ダイナミックレンジ圧縮部の構成例を示すブロック図である。 図８は、２＊２のメッシュ数で図２に示す画像データのダイナミックレンジを圧縮した画像データ例を示す図である。 図９は、１６＊１６のメッシュ数で図２に示す画像データのダイナミックレンジを圧縮した画像データ例を示す図である。 図１０は、８＊８のメッシュ数で図２に示す画像データのダイナミックレンジを圧縮した画像データ例を示す図である。 図１１は、８＊８のメッシュ数に分割された輝度画像データ例を示す図である。 図１２は、第１実施形態のＬＰＦ部から出力される輝度画像データ例を示す図である。 図１３は、トーンカーブ関数の例を示すグラフである。 図１４は、図１２に示す輝度画像データの全体的な輝度変化を補正した輝度画像データ例を示す図である。 図１５は、図１３に示すトーンカーブ関数を補正したトーンカーブ関数の例を示すグラフである。 図１６は、座標変換手法例を示す説明図である。 図１７は、座標変換手法例を示す説明図である。 図１８は、画像伸張手法例を示す説明図である。 図１９は、画像伸張手法例を示す説明図である。 図２０は、画像伸張手法例を示す説明図である。 図２１は、第１実施形態の画像処理装置の画像処理例を示すフローチャートである。 図２２は、第２実施形態のダイナミックレンジ圧縮部の構成例を示すブロック図である。 図２３は、図２に示す画像データのダイナミックレンジを圧縮するとともに色信号を増幅した画像データ例を示す図である。 図２４は、図２に示す画像データのダイナミックレンジの圧縮のみを行った画像データ例を示す図である。 図２５は、第２実施形態の画像処理装置で行われる画像処理例を示すフローチャートである。 図２６は、第３実施形態のダイナミックレンジ圧縮部の構成例を示すブロック図である。 図２７は、図２に示す画像データのダイナミックレンジを圧縮するとともに輝度信号のノイズを除去した画像データ例を示す図である。 図２８は、図２に示す画像データのダイナミックレンジの圧縮のみを行った画像データ例を示す図である。 図２９は、第３実施形態の画像処理装置で行われる画像処理例を示すフローチャートである。 図３０は、第４実施形態の撮像装置の構成例を示すブロック図である。 図３１は、第４実施形態の広角カメラユニットにより撮像された画像データ例を示す図である。 図３２は、図３１に示す画像データの歪みを補正した画像データ例を示す図である。 図３３は、図３１に示す画像データの視点を真上からの視点に変換した画像データ例を示す図である。 図３４は、座標変換手法例を示す説明図である。 図３５は、変形例の画像処理装置の構成例を示すブロック図である。 図３６は、変形例の画像処理装置の構成例を示すブロック図である。

以下、添付図面を参照しながら、本発明にかかる画像処理装置、撮像装置及び画像処理方法の実施形態を詳細に説明する。

（第１実施形態）
第１実施形態では、画像データのダイナミックレンジを圧縮した後に座標を変換する画像処理装置及び画像処理方法について説明する。

まず、第１実施形態の画像処理装置の構成について説明する。

図１は、第１実施形態の画像処理装置１００の構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、画像データを撮像するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などのイメージセンサ１９０から入力されるＲＧＢ信号（以下、「画像データ」と称する場合がある）に画像処理を施して出力するものである。画像処理装置１００は、ダイナミックレンジ圧縮部１１０と、座標変換部１７０と、オーバレイ部１８０とを備える。なお、イメージセンサ１９０は、ベイヤ補間、ＹＵＶ変換、及びシャープネスなどの基本的な画像処理を施す画像処理部（図示省略）を備えており、これらの画像処理が施された画像データを画像処理装置１００に逐次出力する。

ダイナミックレンジ圧縮部１１０は、入力された画像データ上の位置に応じてトーンカーブの特性を変化させ、画像データのダイナミックレンジを圧縮する。具体的には、ダイナミックレンジ圧縮部１１０は、入力された画像データ上の暗い位置を明るくするようにトーンカーブの特性を変化させることで、画像データのダイナミックレンジを圧縮する。座標変換部１７０は、ダイナミックレンジ圧縮部１１０によりダイナミックレンジが圧縮された画像データの座標を変換することにより、画像データの歪み補正や視点変換を行う。オーバレイ部１８０は、座標変換部１７０により座標が変換された画像データに文字や図などを重畳させる。そして、オーバレイ部１８０により文字や図などが重畳された画像データは、画像処理装置１００の外部に出力される。なお、オーバレイ部１８０による文字や図などの重畳を行わずに、即ち、座標変換部１７０により座標が変換された画像データを画像処理装置１００の外部に出力してもよい。また、画像処理装置１００から出力された画像データをＮＴＳＣエンコーダ（図示省略）でＮＴＳＣ信号にエンコードしてもよい。

図２は、イメージセンサ１９０から出力される画像データの一例を示す図である。図２に示す画像データは、広画角で歪曲収差が大きい魚眼レンズを通して入射される被写体像をイメージセンサ１９０が受光して変換したものであり、楕円２で示す机の下部が黒つぶれしている。

図３は、ダイナミックレンジ圧縮部１１０により図２に示す画像データのダイナミックレンジが圧縮された画像データの一例を示す図である。図３に示す画像データは、ダイナミックレンジ圧縮が施されているため、図２に示す画像データで黒つぶれしていた机の下部が明るく視認できるようになっている。

図４は、座標変換部１７０により図３に示す画像データの座標が変換された画像データの一例を示す図である。図４に示す画像データは、図３に示す画像データの枠４の部分の画像データを図３に示す画像データと同じサイズ（ピクセル数）まで拡大したものであり、図３に示す画像データ同様黒つぶれしていた机の下部が明るく視認でき、リンギングやアーティファクトなども発生していない高品質なものとなっている。

ここで、比較例として、図２に示す画像データの座標が変換された後にダイナミックレンジが圧縮された画像データの一例を図５に示す。図５に示す画像データについても、黒つぶれしていた机の下部が明るく視認できる。しかしながら、図５に示す例では、画像データの座標を変換した後にダイナミックレンジを圧縮したため、ダイナミックレンジ圧縮の際に画像の拡大率の影響を受けてしまい、楕円５で示すディスプレイ部分にアーティファクトが発生しており、画像品質が低下している。

このように第１実施形態では、画像データの座標を変換する前にダイナミックレンジを圧縮するため、画像の拡大率の影響を受けずにダイナミックレンジを圧縮することができる。このため本実施形態によれば、黒つぶれしていた部分が明るく視認でき、リンギングやアーティファクトなども発生していない高品質な画像を提供することができる。

以下、第１実施形態の画像処理装置１００の構成の詳細について説明する。

図６は、第１実施形態のダイナミックレンジ圧縮部１１０の構成の一例を示すブロック図である。図６に示すように、ダイナミックレンジ圧縮部１１０は、信号分離部１２０と、輝度ダイナミックレンジ圧縮部１３０と、信号合成部１４０とを、備える。

信号分離部１２０は、入力されたＲＧＢ信号を輝度信号（以下、「輝度画像データ」と称する場合がある）と色信号とに分離する。例えば信号分離部１２０は、数式（１）〜数式（３）を用いてＲＧＢ信号を輝度信号と色信号とに分離する。

Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ …（１）

Ｃｒ＝０．５００＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ …（２）

Ｃｂ＝−０．１６９＊Ｒ−０．３３２＊Ｇ＋０．５００＊Ｂ …（３）

輝度ダイナミックレンジ圧縮部１３０は、信号分離部１２０により分離された輝度信号のダイナミックレンジを圧縮する。輝度ダイナミックレンジ圧縮部１３０の詳細については、後述する。

信号合成部１４０は、輝度ダイナミックレンジ圧縮部１３０によりダイナミックレンジが圧縮された輝度信号と信号分離部１２０により分離された色信号とをＲＧＢ信号に合成する。これにより、ダイナミックレンジが圧縮された画像データが生成される。例えば、信号合成部１４０は、数式（４）〜数式（６）を用いて輝度信号と色信号とをＲＧＢ信号に合成する。

Ｒ＝Ｙ＋１．４０２＊Ｃｒ …（４）

Ｇ＝Ｙ−０．７１４＊Ｃｒ−０．３４４＊Ｃｂ …（５）

Ｂ＝Ｙ＋１．７７２＊Ｃｂ …（６）

ここで、輝度ダイナミックレンジ圧縮部１３０の詳細について説明する。輝度ダイナミックレンジ圧縮部１３０は、人間の眼が画像中の全体的な輝度変化に鈍感であるという特性を利用して、入力された輝度画像データから画像データの全体的な輝度変化を演算し、演算結果をトーンカーブ関数で補正し、補正結果と入力された輝度画像データとを乗算することで、ダイナミックレンジを圧縮する。なお、トーンカーブ関数は、輝度が低い（暗い）位置を高く（明るく）する非線形な関数である。

図７は、第１実施形態の輝度ダイナミックレンジ圧縮部１３０の構成の一例を示すブロック図である。図７に示すように、輝度ダイナミックレンジ圧縮部１３０は、ＬＰＦ（ローパスフィルタ）部１３２と、階調補正部１３４と、乗算部１３６とを、備える。

ＬＰＦ部１３２は、入力された輝度画像データの空間周波数のうち遮断周波数よりも低い周波数を取り出すことにより、画像データの全体的な輝度変化を求める。なお、ＬＰＦの遮断周波数は、低すぎるとダイナミックレンジ圧縮の効果が薄くなり、高すぎるとダイナミックレンジが圧縮された画像データにリンギングやアーティファクトが発生してしまうため、適切な値に調整する必要がある。ここで、ＬＰＦの遮断周波数は、輝度画像データのメッシュ数（分割数）で調整することができ、メッシュ数が多いほど遮断周波数は高くなり、メッシュ数が少ないほど遮断周波数は低くなる。

図８は、輝度ダイナミックレンジ圧縮部１３０により２＊２のメッシュ数で図２に示す画像データのダイナミックレンジが圧縮された画像データの一例を示す図である。図８に示す画像データでは、ＬＰＦの遮断周波数が低すぎたため、ダイナミックレンジ圧縮の効果が薄く、楕円８で示す机の下部の黒つぶれがあまり改善されていない。

図９は、輝度ダイナミックレンジ圧縮部１３０により１６＊１６のメッシュ数で図２に示す画像データのダイナミックレンジが圧縮された画像データの一例を示す図である。図９に示す画像データでは、ＬＰＦの遮断周波数が高すぎたため、黒つぶれしていた机の下部が明るく視認できるものの、円９−１で示す人間の後頭部部分及び円９−２で示す空間部分にアーティファクトが発生しており、また、輪郭の周辺にもリンギングが発生している。

図１０は、輝度ダイナミックレンジ圧縮部１３０により８＊８のメッシュ数で図２に示す画像データのダイナミックレンジが圧縮された画像データの一例を示す図である。図１０に示す画像データでは、黒つぶれしていた机の下部が明るく視認でき、アーティファクトもリンギングも発生していない。

以上のように第１実施形態では、ＬＰＦの遮断周波数の値は、輝度画像データのメッシュ数が２＊２より多くかつ１６＊１６より少ない場合の空間周波数であることが好ましく、輝度画像データのメッシュ数が８＊８の場合の空間周波数であることがより好ましい。以下では、ＬＰＦの遮断周波数の値は、輝度画像データのメッシュ数が８＊８の場合の空間周波数である場合を例に取り説明する。なお、メッシュ数を８＊８とした場合、各メッシュの大きさは、輝度画像データの１／８＊１／８の大きさとなる。

図７に戻り、ＬＰＦ部１３２は、具体的には、入力された輝度画像データを８＊８のメッシュ数に分割し（図１１参照）、メッシュ毎に輝度の総和を計算し、計算した輝度総和を頂点データとすることで７＊７のメッシュ数の縮小画像データを作成する。そして、ＬＰＦ部１３２は、作成した縮小画像データの各メッシュの中間点を線形補完することにより輝度画像データと同じ大きさ（同じピクセル数）まで拡大し（図１２参照）、画像データの全体的な輝度変化を示す輝度画像データを出力する。

階調補正部１３４は、トーンカーブ関数を用いて、ＬＰＦ部１３２により求められた画像データの全体的な輝度変化を補正する。トーンカーブ関数の一例を数式（７）で示す。

ｙ＝Ａ／ｅｘｐ（ｘ／Ｂ）＋Ｃ …（７）

ここで、ｙは、補正後の輝度変化を示す補正輝度画像データ（輝度の増幅率）であり、ｘは、階調補正部１３４に入力された輝度画像データであり、Ａ、Ｂ、Ｃは、それぞれ定数である。定数Ａ、Ｂ、Ｃは、画像処理装置１００に入力された画像データのダイナミックレンジやイメージセンサ１９０などの撮像装置の要件に合わせて調整できる。例えば、Ａ＝５、Ｂ＝３５、Ｃ＝０．９とすると、数式（７）に示すトーンカーブ関数は、
ｙ＝５／ｅｘｐ（ｘ／３５）＋０．９ …（８）
となり、図１３のグラフに示すような関数となる。

例えば、階調補正部１３４は、数式（８）に示すトーンカーブ関数を用いて、図１２に示す輝度画像データの全体的な輝度変化を補正する（図１４参照）。

但し、数式（８）に示すトーンカーブ関数では、輝度の増幅率が大きすぎたり（最大値が大きすぎたり）、輝度の低減率が大きすぎたり（最小値が小さすぎたり）するため、リンギングやアーティファクトが発生しやすくなる。

このため、階調補正部１３４は、ｙの値を更に補正してｙ’とする。具体的には、ｙの値が１以下であれば（ｙ＜＝１）、ｙ’の値を１に補正し（ｙ’＝１）、ｙの値が１を超えていれば（ｙ＞１）、ｙ’の値をｙに補正し（ｙ’＝ｙ）、ｙの値がＤを超えていれば（ｙ＞Ｄ）、ｙ’の値をＤに補正する（ｙ’＝Ｄ）。なお、Ｄは、定数であり、例えばＤ＝４とすると、数式（８）に示すトーンカーブ関数は、図１５のグラフに示すような関数となる。

なお、上述したトーンカーブ関数はｅｘｐの項を持っており、リアルタイムで演算するにはある程度の回路規模を必要とする。このため、演算結果を予め図示せぬメモリにテーブルとして記憶しておくことで演算を不要としたり、トーンカーブ関数を近似した多項式で演算するようにしたりしてもよい。

乗算部１３６は、階調補正部１３４による補正結果である補正輝度画像データと、輝度ダイナミックレンジ圧縮部１３０に入力された輝度画像データとを乗算して、乗算後の輝度画像データを生成し、出力するものであり、例えば、乗算器により実現できる。

図１に戻り、座標変換部１７０は、ダイナミックレンジ圧縮部１１０から入力された入力画像データの画素データを、入力された順序と異なる順序で出力画像データとして出力することで画像データの座標を変換し、画像を変形する。例えば、図１６に示すように、第１画素データの座標を（ｘ１，ｙ１）から（Ｘ１，Ｙ１）に変換し、第２画素データの座標を（ｘ２，ｙ２）から（Ｘ２，Ｙ２）に変換するとする。この場合、座標変換部１７０は、図１７に示すように、（ｘ１，ｙ１）の画素データとして入力された第１画素データを（Ｘ１，Ｙ１）の画素データとして出力し、（ｘ２，ｙ２）の画素データとして入力された第２画素データを（Ｘ２，Ｙ２）の画素データとして出力する。座標変換部１７０は、図１に示すように、フレームバッファ１７２と、座標計算部１７４と、画像伸張部１７６とを、備える。

フレームバッファ１７２は、ダイナミックレンジ圧縮部１１０から入力された１画面分以上の入力画像データ（第１実施形態では、２画面分の入力画像データ）を記憶するものであり、ＤＲＡＭ（Dynamic Random Access Memory）などの既存のメモリにより実現できる。フレームバッファ１７２に入力される入力画像データは、例えば、ＹＵＶ４２２形式（８ビット）であり、Ｙ、Ｕ、Ｙ、Ｖ、Ｙ、Ｕ、Ｙ、Ｖ、…の順序で入力される。有効画像データは６４０×４８０であり、フレームレートは３０ｆｐｓである。また、フレームバッファ１７２は、１Ｍ×１６ｂｉｔのデータを記憶でき、輝度信号（８ビット）及び色差信号（８ビット）の信号を、各アドレスに輝度信号（上位８ビット）及び色差信号（下位８ビット）の状態で記憶する。フレームバッファ１７２への書き込み及び読み出しは、ダブルバッファ方式であり、書き込みはプログレッシブ、読み出しはＮＴＳＣ出力を考えたインターレースであり、共に３０ｆｐｓである。

座標計算部１７４は、フレームバッファ１７２から出力する出力画像データの各画素に対応する入力画像データの座標を計算し、計算結果に基づいてフレームバッファ１７２から出力画像データを読み出すことで、画像の変形を実現する。なお、座標変換部１７０は、出力画像データのサンプリング画素に対応する入力画像データの座標を予め計算した座標データ（変換テーブル）を記憶する図示せぬフラッシュメモリなどを備えている。座標計算部１７４は、この変換テーブルなどを参照して出力画像データの各画素に対応する入力画像データの座標を双線形補間により計算する。そして、座標計算部１７４は、計算した入力画像データの座標をアドレスに変換し、変換したアドレスに対応したフレームバッファ１７２のアドレスから出力画像データを読み出す。なお、フレームバッファ１７２から出力される主走査方向の読み出し画素数は、出力画面の画素数に対して小さい構成とする。

画像伸張部１７６は、フレームバッファ１７２から読み出された出力画像データを、画面主走査方向に対して最終的に出力するのに必要なピクセル数に伸張して、出力する。フレームバッファ１７２は、ランダムアクセスで大きなレイテンシが発生するため、読み出し速度の面から画像横１ラインの読み出し解像度５００ピクセルが限界である。しかしながら、ＮＴＳＣ信号で出力するために横７２０ピクセルの解像度が必要となるため、画像伸張部１７６は、フレームバッファ１７２から読み出された１ライン辺り５００ピクセルの画像データを画面主走査方向に対して７２０ピクセルに伸張する。なお、出力ＮＴＳＣ信号の水平解像度は、８．０ＭＨｚ/３０ｆｐｓ/５２５ｌｉｎｅ＝５０７本である。つまり、７２０ピクセルの画像データを読み出したとしてもＮＴＳＣへの出力が律速となっており、５００ピクセルでも劣化はほぼない（図１８参照）。

具体的には、座標計算部１７４によりフレームバッファ１７２から読み出された１ライン辺り５００ピクセルの出力画像データはＦＩＦＯ（First-In First-Out）に書き込まれる。そして、ＦＩＦＯから読み出すためのリードイネーブル信号が１４クロック分ＨＩＧＨ、６クロック分ＬＯＷとして３５セット繰り返され（図１９参照）、最後の１セットは１０クロック分ＨＩＧＨ、１０クロック分ＬＯＷとすることにより、５００ピクセルの出力画像データがＦＩＦＯから読み出される。そして、画像伸張部１７６は、読み出された出力画像データを図２０に示すように伸張する。

次に、第１実施形態の画像処理装置１００の動作について説明する。

図２１は、第１実施形態の画像処理装置１００で行われる画像処理の手順の流れの一例を示すフローチャートである。

まず、信号分離部１２０は、画像処理装置１００に入力されたＲＧＢ信号を輝度信号と色信号とに分離する（ステップＳ１００）。

続いて、ＬＰＦ部１３２は、入力された輝度信号の空間周波数のうち、遮断周波数よりも低い周波数を取り出すことにより、輝度信号の全体的な輝度変化を求める（ステップＳ１０２）。続いて、階調補正部１３４は、トーンカーブ関数を用いて、ＬＰＦ部１３２により求められた輝度信号の全体的な輝度変化を補正する（ステップＳ１０４）。続いて、乗算部１３６は、階調補正部１３４により補正された輝度信号と、輝度ダイナミックレンジ圧縮部１３０に入力された輝度信号とを乗算する（ステップＳ１０６）。ステップＳ１０２〜ステップＳ１０６の処理により輝度信号のダイナミックレンジが圧縮される。

続いて、信号合成部１４０は、ダイナミックレンジが圧縮された輝度信号と、信号分離部１２０により分離された色信号とを、ＲＧＢ信号に合成する（ステップＳ１０８）。

続いて、座標変換部１７０は、信号合成部１４０により合成されたＲＧＢ信号の座標を変換する（ステップＳ１１０）。

続いて、オーバレイ部１８０は、座標変換部１７０により座標が変換されたＲＧＢ信号に文字や図などを重畳させ、画像処理装置１００から出力させる（ステップＳ１１２）。

以上のように第１実施形態では、画像データの座標を変換する前にダイナミックレンジを圧縮する。このため第１実施形態では、座標変換による画像の拡大率の影響を受けず、イメージセンサ１９０から出力される画像データの大きさに対して正規化された遮断周波数を有するＬＰＦにより光源状態（画像データの全体的な輝度変化）を正確に推定して、ダイナミックレンジを圧縮することができる。従って第１実施形態によれば、黒つぶれしていた部分が明るく視認でき、リンギングやアーティファクトなども発生していない高品質な画像を提供することができる。

また第１実施形態では、ダイナミックレンジ圧縮対象の画像データに応じてＬＰＦの遮断周波数を変更する必要がないので、回路規模を小さくすることができる。

（第２実施形態）
第２実施形態では、分離された色信号を増幅する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２２は、第２実施形態のダイナミックレンジ圧縮部２１０の構成の一例を示すブロック図である。第２実施形態の画像処理装置２００のダイナミックレンジ圧縮部２１０では、色信号ブースト部２５０が追加された点で、第１実施形態のダイナミックレンジ圧縮部１１０と相違する。以下では、色信号ブースト部２５０について説明する。

色信号ブースト部２５０は、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号の増幅率（階調補正部１３４の補正結果が示す輝度の増幅率）に合わせて、信号分離部１２０により分離された色信号を増幅する。例えば、色信号ブースト部２５０は、数式（９）〜数式（１０）を用いて色信号（Ｃｒ、Ｃｂ）を増幅する。

Ｃｒ＝（（ｙ−１）＊Ｑ＋１）＊Ｃｒ …（９）

Ｃｂ＝（（ｙ−１）＊Ｑ＋１）＊Ｃｂ …（１０）

ここで、ｙは輝度信号の増幅率である。また、Ｑは定数であり、Ｑの値を大きくする程、色信号は増幅する。

図２３は、図２に示す画像データのダイナミックレンジを圧縮するとともに色信号を増幅した画像データの一例を示す図である。また、比較例として、図２に示す画像データのダイナミックレンジの圧縮のみを行った（色信号を増幅していない）画像データの一例を図２４に示す。なお、図２３に示す例では、定数Ｑの値を０．５に設定して色信号を増幅している。図２３に示す画像データでは、楕円２３で示す机の下部の色が、図２４に示す画像データに比べはっきりと現れている。

次に、第２実施形態の画像処理装置２００の動作について説明する。

図２５は、第２実施形態の画像処理装置２００で行われる画像処理の手順の流れの一例を示すフローチャートである。

まず、ステップＳ２００〜Ｓ２０６までの処理は、図２１に示すフローチャートのステップＳ１００〜Ｓ１０６までの処理と同様であるため、説明を省略する。

続いて、色信号ブースト部２５０は、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号の増幅率に合わせて、信号分離部１２０により分離された色信号を増幅する（ステップＳ２０７）。

以降のステップＳ２０８〜Ｓ２１２までの処理は、図２１に示すフローチャートのステップＳ１０８〜Ｓ１１２までの処理と同様であるため、説明を省略する。

以上のように、第２実施形態では、輝度信号の増幅率に合わせて色信号も増幅しているため、ダイナミックレンジを圧縮した画像データであっても、色をはっきりと表すことができ、色の再現性を良くすることができる。

（第３実施形態）
第３実施形態では、増幅した輝度信号からノイズを除去する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２６は、第３実施形態のダイナミックレンジ圧縮部３１０の構成の一例を示すブロック図である。第３実施形態の画像処理装置３００のダイナミックレンジ圧縮部３１０では、ノイズ除去部３６０が追加された点で、第１実施形態のダイナミックレンジ圧縮部１１０と相違する。以下では、ノイズ除去部３６０について説明する。

ノイズ除去部３６０は、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号の増幅率（階調補正部１３４の補正結果が示す輝度の増幅率）に合わせた強度で、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号からノイズを除去する。ノイズ除去部３６０は、平滑化フィルタ部３６２と、合成部３６４とを、備える。

平滑化フィルタ部３６２は、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号からノイズを除去するものであり、例えば、３＊３の加重平均ＦＩＲフィルタ、メディアンフィルタ、又はεフィルタなどにより実現できる。これにより、多少ぼやけた輝度画像が生成される。

合成部３６４は、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号の増幅率に合わせて、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号と、平滑化フィルタ部３６２によりノイズが除去された輝度信号とを加算して、合成する。これにより、輝度が増幅された部分のみが平滑化され、他の部分の先鋭度が保たれる。例えば、合成部３６４は、数式（１１）を用いて輝度信号を合成する。

Ｙｏｕｔｐｕｔ＝Ｙｎｏｉｓｅｆｉｌ＊（ｙ−１）＋Ｙ＊（２−ｙ） …（１１）

ここで、Ｙｏｕｔｐｕｔは合成後の輝度信号であり、Ｙｎｏｉｓｅｆｉｌは平滑化フィルタ部３６２によりノイズが除去された輝度信号であり、ｙは２＜ｙ＜１の幅で制限された増幅率であり、Ｙは輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号である。

図２７は、図２に示す画像データのダイナミックレンジを圧縮するとともに輝度信号のノイズを除去した画像データの一例を示す図である。また、比較例として、図２に示す画像データのダイナミックレンジの圧縮のみを行った（輝度信号のノイズを除去していない）画像データの一例を図２８に示す。図２７に示す画像データでは、図２８に示す画像データに比べ、楕円２７で示す床の部分のノイズが低減され、他の部分の先鋭度も失われていない。

次に、第３実施形態の画像処理装置３００の動作について説明する。

図２９は、第３実施形態の画像処理装置３００で行われる画像処理の手順の流れの一例を示すフローチャートである。

まず、ステップＳ３００〜Ｓ３０６までの処理は、図２１に示すフローチャートのステップＳ１００〜Ｓ１０６までの処理と同様であるため、説明を省略する。

続いて、ノイズ除去部３６０は、輝度ダイナミックレンジ圧縮部１３０により増幅された輝度信号の増幅率に合わせた強度で、当該輝度信号からノイズを除去する（ステップＳ３０７）。

以降のステップＳ３０８〜Ｓ３１２までの処理は、図２１に示すフローチャートのステップＳ１０８〜Ｓ１１２までの処理と同様であるため、説明を省略する。

以上のように、第３実施形態では、輝度信号の増幅率に合わせた強度で輝度信号からノイズを除去しているため、輝度信号を増幅した部分以外の部分の先鋭度を失わずに、輝度信号を増幅した部分のノイズを低減できる。

（第４実施形態）
第４実施形態では、第１実施形態の画像処理装置を備えた撮像装置について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図３０は、第４実施形態の撮像装置４００の構成の一例を示すブロック図である。撮像装置４００は、例えば、自動車に搭載されるバックモニタ装置等の車載カメラ装置などに用いることができ、図３０に示すように、広角カメラユニット４１０と、画像処理装置１００と、画像処理装置１００から出力された画像データ信号が示す画像（映像）を表示する液晶モニタ（ＬＣＤ）等の表示装置４２０を備える。広角カメラユニット４１０は、魚眼レンズなどの広画角の広角レンズ系４１２（広角光学系の一例）と、イメージセンサ１９０とを備える。イメージセンサ１９０は、広角レンズ系４１２を通して入射される被写体像を受光面に結像して画像データに変換する。

撮像装置４００では、広角カメラユニット４１０が、図３１に示すような画像データを撮像し、画像処理装置１００が、広角カメラユニット４１０により撮像された画像データのダイナミックレンジを圧縮し、ダイナミックレンジを圧縮した画像データの歪みを補正した図３２に示すような画像データや、視点を真上からの視点に変換した図３３に示すような画像データを生成し、表示装置４２０が表示する。

なお、図３２及び図３３に示す例では、オーバレイ部１８０が、座標変換部１７０により歪み補正や視点変換が行われた画像データに、車の車幅を示す車幅線３２−１、３３−１や、車からの距離を示す距離線３２−２、３３−２を重畳させている。

また、車載カメラでは、歪み補正や回転補正や見下ろし角度補正や子画面など、利用状況などに応じて多種多様の画像変形が必要とされており、全ての種類の画像変形をＬＳＩで実装するのは、開発コストおよび回路規模の制限のため実現困難である。このため、画像処理装置１００の座標変換部１７０（座標計算部１７４）では、画像処理のタイプに依存しない双線形補間処理のみを行い、図示せず制御装置などで行われるソフトウェア処理で、双線形補間に利用される複数種類の参照点の座標（変換テーブル）を作成し、図示せぬＲＯＭ（Read Only Memory）などの記憶部（不図）に記録しておく。記録しておくデータは、出力画像データをブロックで区切ったときのブロックの頂点（サンプリング画素）に対応する入力画像データ上の参照点である（図３４参照）。

図３３に示すような画像データの視点を真上からの視点に変換すると、画像の拡大率の影響が大きくなるため、第１実施形態の画像処理装置は、第４実施形態の撮像装置のような車載カメラ装置などに特に有用である。

（変形例）
なお、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、図３５に示す画像処理装置５００のように、ダイナミックレンジ圧縮部１１０の前段に、画像データに対し一様にトーンカーブの特性を変化させ、画像データのγ補正を行うγ補正部５８５を設けるようにしてもよい。また、図３６に示す画像処理装置６００のように、座標変換部１７０の後段にγ補正部６８５を設けるようにしてもよい。また第４実施形態では、第１実施形態の画像処理装置を備えた撮像装置について説明したが、第４実施形態の撮像装置は、第２実施形態又は第３実施形態の画像処理装置を備えるようにしてもよい。

１００、２００、３００、５００、６００ 画像処理装置
１１０、２１０、３１０ ダイナミックレンジ圧縮部
１２０ 信号分離部
１３０ 輝度ダイナミックレンジ圧縮部
１３２ ＬＰＦ部
１３４ 階調補正部
１３６ 乗算部
１４０ 信号合成部
１７０ 座標変換部
１８０ オーバレイ部
１９０ イメージセンサ
２５０ 色信号ブースト部
３６０ ノイズ除去部
３６２ 平滑化フィルタ部
３６４ 合成部
４００ 撮像装置
４１０ 広角カメラユニット
４１２ 広角レンズ系
４２０ 表示装置
５８５、６８５ γ補正部

特開２００９−１７７７０３号公報 特許第４１６１７１９号公報 特許第４２１４４５７号公報

Claims (16)

1. 入力された画像データ上の位置に応じてトーンカーブの特性を変化させ、前記画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮手段と、
   前記ダイナミックレンジが圧縮された前記画像データの座標を変換する座標変換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記ダイナミックレンジ圧縮手段は、入力された前記画像データ上の暗い位置を明るくするように前記トーンカーブの特性を変化させることを特徴とする請求項１に記載の画像処理装置。
3. 前記ダイナミックレンジ圧縮手段は、
   入力された前記画像データを輝度信号と色信号とに分離する信号分離手段と、
   前記輝度信号の空間周波数のうち遮断周波数よりも低い周波数を取り出すことにより、前記画像データの全体的な輝度変化を演算するＬＰＦ手段と、
   前記ＬＰＦ手段の演算結果をトーンカーブ関数で補正する階調補正手段と、
   前記輝度信号と前記階調補正手段の補正結果とを乗算した輝度信号を生成する乗算手段と、
   生成された前記輝度信号と前記色信号とを合成して、前記ダイナミックレンジを圧縮した前記画像データを生成する信号合成手段と、
   を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ＬＰＦ手段は、前記輝度信号が示す輝度画像データを予め定められたメッシュ数に分割し、分割したメッシュ毎に輝度の総和を計算し、計算した輝度総和を頂点データとすることで縮小画像データを作成し、作成した縮小画像データの各メッシュの中間点を線形補完して前記輝度画像データと同じ大きさまで拡大することにより、前記画像データの全体的な輝度変化を演算することを特徴とする請求項３に記載の画像処理装置。
5. 前記メッシュ数は、２＊２より多くかつ１６＊１６より少ないことを特徴とする請求項４に記載の画像処理装置。
6. 前記階調補正手段の補正結果をｙ、前記ＬＰＦ手段の演算結果をｘ、定数をＡ、Ｂ、Ｃとした場合、前記トーンカーブ関数は、数式（１）で表されることを特徴とする請求項３〜５のいずれか１つに記載の画像処理装置。
   ｙ＝Ａ／ｅｘｐ（ｘ／Ｂ）＋Ｃ …（１）
7. 前記階調補正手段は、前記ｙの値が１以下の場合、前記ｙの値を１に補正することを特徴とする請求項６に記載の画像処理装置。
8. 前記階調補正手段は、前記ｙの値が定数Ｄより大きい場合、前記ｙの値を前記定数Ｄに補正することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記階調補正手段は、前記数式（１）の演算結果を予めテーブルで保持し、前記テーブルに保持された前記演算結果を用いて、前記ＬＰＦ手段の演算結果を補正することを特徴とする請求項６〜８のいずれか１つに記載の画像処理装置。
10. 前記階調補正手段は、前記数式（１）を近似した多項式を用いて、前記ＬＰＦ手段の演算結果を補正することを特徴とする請求項６〜８のいずれか１つに記載の画像処理装置。
11. 前記ダイナミックレンジ圧縮手段は、
    前記階調補正手段の補正結果が示す前記輝度信号の増幅率に合わせて、前記色信号を増幅する色信号ブースト手段、
    を更に備えることを特徴とする請求項３〜１０のいずれか１つに記載の画像処理装置。
12. 前記ダイナミックレンジ圧縮手段は、
    前記階調補正手段の補正結果が示す前記輝度信号の増幅率に合わせた強度で、前記乗算手段により生成された前記輝度信号からノイズを除去するノイズ除去手段、
    を更に備えることを特徴とする請求項３〜１１のいずれか１つに記載の画像処理装置。
13. 前記画像データに対し一様にトーンカーブの特性を変化させ、前記画像データのγ補正を行うγ補正手段、
    を更に備えることを特徴とする請求項１〜１２のいずれか１つに記載の画像処理装置。
14. 前記座標変換手段は、前記ダイナミックレンジが圧縮された前記画像データの座標を変換することにより、前記画像データの歪み補正又は視点変換を行うことを特徴とする請求項１〜１３のいずれか１つに記載の画像処理装置。
15. 請求項１〜１４のいずれか１つに記載の画像処理装置と、
    広角光学系と、
    前記広角光学系を通して入射される被写体像を画像データに変換し、変換した画像データを前記画像処理装置に入力するイメージセンサと、
    を備えることを特徴とする撮像装置。
16. ダイナミックレンジ圧縮手段が、入力された画像データ上の位置に応じてトーンカーブの特性を変化させ、前記画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮ステップと、
    座標変換手段が、前記ダイナミックレンジが圧縮された前記画像データの座標を変換する座標変換ステップと、
    を含むことを特徴とする画像処理方法。

Images