JP6478138B2 - 画像処理装置、撮像装置、画像処理プログラム、画像処理方法 - Google Patents

Description

本発明は、画像処理装置と、撮像装置と、画像処理プログラムと、画像処理方法とに関するものである。

近年、撮像装置は、車両に搭載される車載用カメラとしての用途が広がっている。

ここで、車載用カメラの種類には、例えば車両の駐車時などの後方確認の支援を行うリアビューカメラ、縦列駐車時に車両側方の死角確認の支援を行うサイドビューカメラ、交差点への進入時などに左右確認の支援を行うフロントビューカメラがある。また、車載用カメラの別の種類には、例えば車両進行方向を撮影し常時録画するドライブレコーダ用カメラ、路上の白線や中央分離帯、標識、信号、表示板などの物体を認識するためのフロントセンシング用カメラなどがある。

車載用カメラは、夜間の街灯が設けられていない道路や照明のないトンネル内などの暗い場所で撮像した場合においても、画像内の被写体を視認することができるような画像（適切な画像）を取得する必要がある。適切な画像を取得するために、車載用カメラには、撮像素子(イメージセンサ)の露光時間を長くする、撮像素子のアナログゲインを上げる、レンズのＦ値を小さくしてレンズを明るくする、などの対策がされている。

ここで、露光時間を長くするのは、撮像素子の受光面が照射される時間を長くすることにより、受光量を増加させるためである。また、アナログゲインを上げるのは、検出信号の振幅を大きくすることにより出力映像を明るく見せるためである。さらに、レンズのＦ値を小さくするのは、一般的にＦ値が小さいほど明るいレンズになるためである。

このような対策により、車載用カメラは、画像の暗い部分を明るくすることができるため、夜間の画像であっても暗部の被写体が視認しやすくなる。

その反面、夜の繁華街など明るい部分と暗い部分とを含む画像では、街路灯、対向車のヘッドランプ、前方車両のテールランプ、ウインカー、あるいは信号機などの発光体が被写体である場合に、その被写体画像にはいわゆる白飛びが生じることがある。

被写体画像が白飛びした場合には、被写体の色の識別が困難になるため、テールランプとウインカーとの判別、街路灯と信号機との判別、あるいは、信号機の色の判別がしづらいという問題がある。

また、被写体画像の白飛びは、自車のヘッドランプの光により被写体が照射された場合にも生じる。

ここで、ヘッドランプの光により照射された被写体が前方車両である場合には、前方車両の画像が白飛びしてしまうため、前方車両のテールランプなどが発光しているか否かを確認しづらいという問題がある。

被写体画像の白飛びを抑えるには、上述の暗い場所で適切な画像を取得するための設定とは逆に、車載用カメラには、撮像素子の露光時間を短くする、撮像素子のアナログゲインを下げる、レンズのＦ値を大きくしてレンズを暗くする、などの対策を行うことが考えられる。

しかし、この方法は、画像全体が暗くなるため、車載用カメラを特にリアビューカメラ、フロントビューカメラ、あるいはフロントセンシングカメラとして用いた場合に、例えば暗い路面の状況などを把握することが困難になる。この原因は、路面の暗さと光源の明るさとの輝度レンジを撮像素子のダイナミックレンジの範囲内に収めることが困難であるためである。

ところで、近年、撮像素子のダイナミックレンジを拡大する方法として、ＨＤＲ（High Dynamic Range）、ＷＤＲ（Wide Dynamic Range）などの方法がある。

ＨＤＲやＷＤＲは、撮像素子が長時間露光した画像と短時間露光した画像とを取得して、その２枚の画像を合成して１枚の画像を生成することにより、画像内のダイナミックレンジを通常より大きくする手法である。

撮像素子が露光時間の異なる２つの画像を取得する方法には、撮像素子の１つの画素により長時間露光した画像と短時間露光した画像とを時間差で取得する方法がある。また、撮像素子が露光時間の異なる２つの画像を取得する他の方法には、１つの画素内に長時間露光する領域と短時間露光する領域との２つの受光領域を設けて時間差なしで露光時間の異なる画像を取得する方法がある。

露光時間の異なる２つの画像を取得して1つの画像に合成する場合には、暗い夜道などの暗い画像領域には長時間露光した画像データと、明るい空などの明るい画像領域には短時間露光した画像データとを切り出して合成し、１枚の画像を生成する。

ＨＤＲやＷＤＲを行うことで、車載用カメラは、明るい領域の白飛びや暗い領域の黒つぶれが抑えられ、かつ低照度時の画像が明るくクリアな画像を得ることができる。

しかし、露光時間の異なる２つの画像を合成するときに、画像領域を明るい領域と暗い領域との明暗を正確に判断して分割することは困難である。すなわち、ＨＤＲやＷＤＲで２つの画像を合成するときには、暗い画像から比較的面積の大きい明るい領域を分離することは容易であるものの、暗い画像から点光源のような面積の小さい明るい領域を特定した上で分離することは困難である。このため、白飛びを抑えたい被写体が発光点などの場合には、ＨＤＲやＷＤＲによっては十分な効果を得ることができない。

また、発光点が被写体である場合の白飛びは、ＲＧＢ（Red Green Blue）それぞれの色信号の値が飽和値に近づくことで値の差が微少になり、発光源の色が薄くなって白色に近づくために生じる。

このことから、発光点が被写体である場合には、色が薄くなった状態の画像データ全体の彩度を上げることにより、発光点の色を出すことが考えられる。

ただし、この場合には、発光点以外の彩度も増加させるため、全体的に色の濃い画像になり違和感が生じるばかりでなく、黒の領域の彩度も上がる。このため、得られる画像は、ノイズの多い黒領域の信号を増加させることによって発生する色ノイズが増加し、Ｓ／Ｎ（Signal/Noise）比が低くなってしまう。

なお、明暗の差が大きい被写体でも色つぶれや色飽和の少ない画像を形成する技術として、Ｎ枚の原画像の各画素位置の色成分信号同士を比較し、高い彩度が得られる色成分信号を出力画像の色成分信号とする技術が提案されている（例えば、特許文献１参照）。

しかしながら、従来の技術では、ＨＤＲやＷＤＲと同様に露光時間の異なる２つの画像を取得したうえで合成する処理が必要となる。

また、従来の技術では、長時間露光した画像の中の白飛びした領域には、短時間露光した画像を使うため、上述の白飛びした被写体画像の色が認識しづらいという問題は解決できない。

また、従来の技術では、彩度のない黒色の領域についても低照度ノイズにより彩度を持ってしまうため、その彩度を強調すると黒色の領域に色が付いて、実際の状態とは異なる画像となるなどの問題がある。

本発明は、暗い画像に明るい被写体を含む場合であっても明るい被写体の色を再現することができる画像処理装置を提供することを目的とする。

本発明は、画像データに対して画像処理を行う画像処理装置であって、画像データに含まれる色信号と輝度信号とを分離する信号分離部と、輝度信号の輝度値に応じて、画像処理に用いる色信号のＵ軸方向の成分に係る係数とＶ軸方向の成分に係る係数を個別に変更する色信号制御部と、を有し、色信号制御部は、画像データを構成する複数の領域ごとに、輝度信号の表す輝度が高い場合には当該領域の彩度を上げるよう、輝度値に応じてＵ軸方向の成分に係る係数とＶ軸方向の成分に係る係数を個別に変更することを特徴とする。

本発明によれば、暗い画像に明るい被写体を含む場合であっても明るい被写体の色を再現することができる。

本発明に係る撮像装置の実施の形態を示す斜視図である。 図１の撮像装置の断面斜視図である。 図１の撮像装置の機能構成例を示す機能ブロック図である。 本発明に係る画像処理装置の実施の形態を示すブロック図である。 図４の画像処理装置の信号処理部を示すブロック図である。 ＵＶ色度図である。 参考例に係る画像処理装置の実施の形態を示すブロック図である。 図４の画像処理装置と図７の画像処理装置とにおける画素アレイへの入力輝度と信号出力レベルとの関係を示すグラフである。

以下、本発明に係る画像処理装置と、撮像装置と、画像処理方法と、画像処理プログラムとの実施の形態について、図面を参照しながら説明する。

●撮像装置●
まず、本発明に係る撮像装置の実施の形態について説明する。本実施の形態に係る撮像装置は、本発明に係る画像処理装置と画像データを取得する撮像部とを有する。

ここで、本実施の形態に係る撮像装置は、例えば不図示の車両に搭載され、車両進行方向を撮影するドライブレコーダ用カメラや物体検知用カメラ、あるいは車両の側方や後方などの確認用カメラなど、各種車載用カメラとして適用される。

ただし、本発明に係る撮像装置の用途はこれに限定されない。すなわち、本発明に係る撮像装置は、例えば、スーパー、コンビニエンスストア等に設置される監視用カメラとしても適用することができる。また、本発明に係る撮像装置は、鉄道、船舶、鉄道等の安全装置やＦＡ（Factory Automation）分野の撮像装置としても適用することができる。

●撮像装置の構成
図１は、本発明に係る撮像装置の実施の形態を示す斜視図である。同図に示すように、撮像装置１は、鏡胴ユニット７（撮像光学系）と、前筐体部１１及び後筐体部１３からなる筐体１２と、電線１４とを有する。

図２は、撮像装置１の断面斜視図である。同図に示すように、前筐体部１１は、撮像光学系２０と、電装基板部７０とが取り付けられている。

前筐体部１１は、少なくとも鏡胴ユニット７の対物レンズ（この例ではレンズ４１）、すなわち鏡筒３０の撮影光軸Ｏに直交する方向（以下では、径方向ともいう）で見た周囲を取り囲む外表面Ｓを形成する。

前筐体部１１は、撮影光軸Ｏ方向から見た正面形状が矩形状であって全体に直方体形状であり、筐体１２の前側（被写体に近い側：以下被写体に近い側を単に被写体側という。）部分を構成する。このため、前筐体部１１は、筐体１２の後側（電装基板部７０に近い側：以下電装基板部７０に近い側を単に基板側という）を構成する後筐体部１３に取り付けることができる。

後筐体部１３は、一端開放の箱形状であり、前筐体部１１と組み合わせることで、鏡胴ユニット７と電装基板部７０（撮像素子７２）とを収容する筐体１２を形成する。また、後筐体部１３には、電線１４が設けられている。

電線１４は、後述する電装基板部７０（後述する電子部品７３）へと電力を供給する、あるいは、電装基板部７０に実装される後述する撮像素子７２で取得した画像データを伝送する。

撮像光学系２０は、鏡筒３０にレンズ４１とレンズ４２とレンズ４３とからなる光学素子群を有する。

鏡筒３０は、光学素子群４０を内方で保持すべく筒状であり、その内径は、前側（被写体側）では大きく、後側（基板側）へ進むに従って段々と小さくなっている。

鏡筒３０の外周面には、撮影光軸Ｏに沿って中間部に凸部３１が形成されている。この凸部３１は鏡筒３０の外周面を一周して形成されている。

凸部３１には、前部側（被写体側）に高さの低い前凸部３１ａが、後部側（基板側）に高さの高い後凸部３１ｂがそれぞれ設けられている。前凸部３１ａと後凸部３１ｂと一体化されている。

鏡筒３０は、その前部側（被写体側）では内径が大きく、後部側（基板側）では内径が小さく、前部側と後部側との間の中間部では大きくもなく小さくもなく中間的な内径となっている。

鏡筒３０は、内径が大きな前部側にレンズ４１が、内径が中間的な中間部にレンズ４２，４３がそれぞれ配置されている。内径が小さな後部側はレンズ４３を係止しており、レンズ４３が鏡筒３０から外れないようになっている。

また、鏡筒３０の前部外周側には円環状の光学素子押さえ２２が設けられている。

なお、光学素子群は、画像取得のために任意の位置に結像させるものであり、少なくとも１つ以上のレンズを有していればよい。つまり、光学素子群は、撮像装置１（撮像光学系２０）において求められる光学性能に応じて適宜構成することができる。

電装基板部７０は、ほぼ四角形を成した基板７１と、基板７１の表面（被写体側の面）
の中央部に搭載された四角形状の撮像素子７２と、基板７１の裏面に搭載された複数の電
子部品７３と、を備えている。

●撮像装置の機能ブロック
次に、撮像装置１の機能ブロックの例について説明する。

図３は、撮像装置１の機能構成例を示す機能ブロック図である。撮像装置１の各種動作（処理）は、デジタル信号処理ＩＣ（Integrated Circuit）等で構成されるプロセッサ１０４と、プロセッサ１０４において動作する撮像プログラムによって制御される。

画像処理手段であるプロセッサ１０４は、第１のＣＣＤ（Charge Coupled Device）信号処理ブロック１０４−１と、第２のＣＣＤ信号処理ブロック１０４−２とを有する。また、プロセッサ１０４は、ＣＰＵ（Central Processing Unit）ブロック１０４−３と、ローカルＳＲＡＭ（Static Random Access Memory）１０４−４とを有する。

また、プロセッサ１０４は、ＵＳＢ（Universal Serial Bus）ブロック１０４−５と、シリアルブロック１０４−６とを有する。また、プロセッサ１０４は、ＪＰＥＧ（Joint Photographic Experts Group）ＣＯＤＥＣブロック１０４−７と、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８とを有する。

また、プロセッサ１０４は、ＴＶ信号表示ブロック１０４−９と、メモリカードコントローラブロック１０４−１０と、を有してなる。これら各ブロックは相互にバスラインで接続されている。

プロセッサ１０４の外部には、ＲＡＷ−ＲＧＢ画像データ、ＹＵＶ画像データ及びＪＰＥＧ画像データを保存するためのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１０３が配置されている。また、プロセッサ１０４の外部には、ＲＡＭ（Random Access Memory）１０７が配置されている。

さらに、プロセッサ１０４の外部には、内蔵メモリ１２０及び撮像プログラムである制御プログラムが格納されているＲＯＭ（Read Only Memory）１０８、が配置されている。ＳＤＲＡＭ１０３とＲＡＭ１０７とＲＯＭ１０８は、バスラインを介してプロセッサ１０４に接続している。

プロセッサ１０４は、ＲＯＭ１０８に格納されている各種制御プログラムを実行し、各種制御プログラムによる機能を実現する。

ＳＤＲＡＭ１０３は、フレームメモリに相当する。ＲＯＭ１０８に格納されている各種制御プログラムには、本発明に係る画像処理装置の動作を実現するプログラムである、画像処理プログラムが含まれる。

つまり、撮像装置１において、ＲＯＭ１０８に格納される画像処理プログラムをプロセッサ１０４に実行させ、ＳＤＲＡＭ１０３、ＲＡＭ１０７、記憶部に相当する内蔵メモリ１２０を使用することにより、本発明に係る画像処理方法を実行している。すなわち、撮像装置１は、本発明に係る画像処理装置の信号分離部と、色信号制御部との機能を有している。

プロセッサ１０４は、主にＣＰＵブロック１０４−３等がバスで接続されたコンピュータを実体とし、ＲＯＭ１０８に記憶された画像処理プログラムをＣＰＵブロック１０４−３が実行する。つまり、プロセッサ１０４では、以上の構成により画像データに対して以下で説明する画像処理が施される。

画像処理プログラムは、あらかじめ、ＲＯＭ１０８に記憶される。ここで、画像処理プログラムは、不図示のメモリカードに記憶させてＲＯＭ１０８に読み込むことができる。あるいは、ネットワーク（不図示）を介して画像処理プログラムをＲＯＭ１０８にダウンロードしてもよい。

撮像光学系を構成する鏡胴ユニット７は、ＦＯＣＵＳレンズ７−２ａを有するＦＯＣＵＳ光学系７−２、絞り７−３ａ、を有する絞りユニット７−３を備える。

ＦＯＣＵＳ光学系７−２は、ＦＯＣＵＳレンズ移動手段としてのＦＯＣＵＳモータ７−２ｂによって駆動される。また、絞りユニット７−３は、絞りモータ７−３ｂによって駆動される。

ＦＯＣＵＳモータ７−２ｂ、絞りモータ７−３ｂの各モータは、モータードライバ７−５によって駆動される。モータードライバ７−５はプロセッサ１０４のＣＰＵブロック１０４−３によって動作が制御される。

鏡胴ユニット７を構成するＦＯＣＵＳレンズ７−２ａは、撮像素子であるＣＣＤ１０１の受光面上に被写体像を結像させる撮像レンズを構成する。ＣＣＤ１０１は、受光面に結像された被写体像を電気的な画像信号に変換してＦ／Ｅ（Front/End）−ＩＣ１０２に出力する。

なお、撮像装置１において、画像データを取得する撮像部としての撮像素子は、ＣＣＤに限定されず、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いてもよい。

Ｆ／Ｅ−ＩＣ１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（Auto Gain Control）１０２−２及びＡ／Ｄ（Analog/Digital）変換部１０２−３を有する。Ｆ／Ｅ−ＩＣ１０２は、被写体像から変換された画像信号に対して、所定の処理を施し、デジタル信号に変換する。変換されたデジタル画像信号は、ＣＣＤ信号処理ブロック１０４−１に入力される。これらの信号処理動作は、プロセッサ１０４のＣＣＤ信号処理ブロック１０４−１から出力されるＶＤ信号（垂直駆動信号）とＨＤ信号（水平駆動信号）により、ＴＧ（Timing Generator）１０２−４を介して制御される。

ＣＣＤ信号処理ブロック１０４−１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して入力されたデジタル画像データに対して、ホワイトバランス調整及びγ調整等の信号処理を行うとともに、ＶＤ信号及びＨＤ信号を出力する。

ＵＳＢブロック１０４−５は、ＵＳＢコネクタ１２２に結合される。シリアルブロック１０４−６は、シリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタ１２３−２に結合される。

ＴＶ信号表示ブロック１０４−９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に結合され、また、ＴＶ信号表示ブロック１０４−９は、ビデオアンプ（ＡＭＰ）１１８を介してビデオジャック１１９にも結合される。

●撮像装置の動作
次に、撮像装置１の動作について説明をする。図１から図２に示した撮像装置１を起動すると、撮像装置１は記録モードでの動作を開始する。

ＣＰＵブロック１０４−３はモータードライバ７−５を制御し、鏡胴ユニット７を撮像可能な位置に移動させる。さらに、ＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２及びＬＣＤモニタ１０等の各部に電源が投入されて動作が開始される。各部の電源が投入されると、ファインダモードでの動作が開始する。

ファインダモードで動作中の撮像装置１は、撮像レンズを介してＣＣＤ１０１の受光面に結像された被写体像に係る画像信号がＣＤＳ１０２−１に出力される。このアナログＲＧＢ信号は、ＡＧＣ（自動利得制御回路）１０２−２を介してＡ／Ｄ変換部１０２−３にてデジタル画像信号に変換される。

このデジタル画像信号に含まれるＲ・Ｇ・Ｂの各信号は、プロセッサ１０４内の第２のＣＣＤ信号処理ブロック１０４−２が具備するＹＵＶ変換手段によって、ＹＵＶ画像データに変換されて、フレームメモリとしてのＳＤＲＡＭ１０３に記録される。

なお、第２のＣＣＤ信号処理ブロック１０４−２は、ＲＧＢ画像信号に対してフィルタリング処理等の適切な処理を施してＹＵＶ画像データへと変換する。

ＹＵＶ画像データは、ＣＰＵブロック１０４−３によって読み出されて、ＴＶ信号表示ブロック１０４−９を介してビデオアンプ１１８及びビデオジャック１１９に送られて、これに接続されたＴＶ（テレビジョン）にて表示される。

また、ＣＰＵブロック１０４−３によって読み出されたＹＵＶ画像データは、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に送られて表示に供される。この処理が１／３０秒間隔で行われて表示が更新され、撮像対象とする被写体をＬＣＤモニタ１０の表示によって視認しながら撮像することができる。

ＣＣＤ１０１は複数の駆動モード（駆動条件）を設定することができる。この駆動モードによって、ＣＣＤ１０１から出力される画像信号の出力条件を変更することができる。

●画像処理装置（１）●
次に、本発明に係る画像処理装置の実施の形態について説明する。

図４は、本発明に係る画像処理装置の実施の形態を示すブロック図である。同図に示すように、画像処理装置１０４０は、撮像部１０１０と接続し、撮像部１０１０が取得した画像データを取得する。ここで、画像処理装置１０４０は、撮像装置１のプロセッサ１０４内に構成される。

撮像部１０１０は、撮像素子１０１１と、駆動制御部１０２１と、画素信号処理部１０２２とを有する。

撮像素子１０１１は、例えば、ＣＣＤ１０１、あるいはＣＭＯＳセンサなどであり、鏡胴ユニット７（撮像光学系）により受光面に結像された被写界像に基づく画像データを出力する。ここで、撮像素子１０１１は、駆動制御部１０２１からの水平同期信号、垂直同期信号に基づき、画像データを画素の情報として順次出力する。

駆動制御部１０２１と画素信号処理部１０２２とは、撮像装置１のＦ／Ｅ−ＩＣ１０２内に構成される。

駆動制御部１０２１は、上述の撮像素子１０１１を制御するための信号として、水平同期信号、垂直同期信号のほかに、露光調整信号も出力して、撮像素子１０１１を制御する。

画素信号処理部１０２２は、撮像素子１０１１が出力した画像データの信号を処理する。ここで、画素信号処理部１０２２は、ベイヤ補完、ＡＧＣ（自動利得制御）、ガンマ補正などの画素ごとの信号処理を行う。また、画素信号処理部１０２２は、所定の画素の周辺の画素に対する処理（周辺画素処理）を行う。

画素信号処理部１０２２は、画素処理を行った後の信号をプロセッサ１０４内に構成される画像処理装置１０４０に出力する。画素信号処理部１０２２から出力される画像データは、撮像素子１０１１で検出したアナログ信号を８ビットから１２ビット程度のデジタル信号に変換して出力される。

ここで、画素信号処理部１０２２から出力される信号の形式として、パラレル出力の場合には、ＲＧＢ（Red Green Blue）あるいはＣＭＹ（Cyan Magenta Yellow）等の信号がある。また、画素信号処理部１０２２から出力される信号の形式として、シリアル出力の場合には、ＭＩＰＩ（Mobile Industry Processor Interface）、ＬＶＤＳ（Low voltage differential signaling）などの信号がある。

画像処理装置１０４０は、Ｙ／Ｃ分離部（ＹＵＶ変換部）１０４１と、輝度信号処理部１０４２と、色信号処理部１０４３と、色信号制御部１０４４と、ビデオエンコーダ１０４５とを有する。

Ｙ／Ｃ分離部１０４１は、画素信号処理部１０２２から出力されるＲＧＢあるいはＣＭＹ等の画素信号を、輝度信号（Ｙ）、色信号（Ｕ，Ｖ）に変換するマトリクス回路である。Ｙ／Ｃ分離部１０４１は、具体的には、例えば式（１）に示す変換公式にしたがって画素信号を変換する。

・・・（１）

なお、画素信号処理部１０２２から出力された画素信号が既にＹＵＶ信号である場合には、画像処理装置１０４０は、Ｙ／Ｃ分離部１０４１によるマトリクス変換処理を行わずにその後の処理を行う。

Ｙ／Ｃ分離部１０４１により輝度信号（Ｙ）と色信号（Ｕ，Ｖ）とに分離された信号は、それぞれの信号に応じて所望の信号処理が行われる。

輝度信号処理部１０４２は、輝度信号に対してデジタルゲイン調整などを行う。

色信号処理部１０４３は、色信号に対してＡＷＢ（オートホワイトバランス）調整などを行う。

色信号制御部１０４４は、Ｙ／Ｃ分離部で分離された後の色信号を制御する。ここで、色信号制御部１０４４は、Ｙ／Ｃ分離部１０４１により分離された輝度信号に基づいて色信号の彩度を制御する。色信号制御部１０４４は、具体的には、取得した画素が輝度の高い（明るい）画素である場合には画素の彩度を上げる処理を行い、輝度の低い（暗い）画素である場合には画素の彩度を下げる処理を行う。

なお、色信号制御部１０４４は、輝度信号処理部１０４２から出力される輝度信号、あるいは輝度信号処理をする前の輝度信号のいずれに基づいて画素の彩度を制御してもよい。
また、色信号処理部１０４３と色信号制御部１０４４との処理は、例えばＦＰＧＡ（Field-Programmable Gate Array）によって実行することができるが、上述の画像処理プログラムによって実行することもできる。

次に、色信号制御部１０４４による具体的な色信号制御処理を説明する。

輝度信号に基づいて色信号を制御するにあたり、色信号制御部１０４４は、輝度信号（Ｙ）に係数αを乗じた信号を用いる。この信号（１＋αＹ）に基づいて、Ｙ／Ｃ分離部１０４１から出力された（Ｕ，Ｖ）信号に乗じた信号を、信号（Ｕ’，Ｖ’）とすると、（Ｕ’，Ｖ’）は以下の式（２）となる。

（Ｕ’，Ｖ’）＝（１＋αＹ）β（Ｕ，Ｖ）・・・（２）

輝度Ｙが０の場合に式（２）の値が０になるため、（１＋αＹ）は、輝度信号に基づいて色信号値を増減させる係数である。つまり、信号（１＋αＹ）が０の場合には、（Ｕ’，Ｖ’）＝β（Ｕ，Ｖ）となり、式（２）における輝度信号による彩度の変動の効果は０となる。

ここで、係数αは、輝度値に基づいて彩度値を制御するための任意の係数（パラメータ）である。また、係数αは、１つの値に限定されず、例えば状況に応じて複数の値を用いてもよい。

式（２）によれば、Ｙ成分が大きい、すなわち輝度が高い（明るい）場合には、色信号Ｕ，Ｖにかかる係数（１＋αＹ）βが大きくなるので、彩度が増加する。また、式（２）によれば、Ｙ成分の小さい、すなわち輝度が低い（暗い）場合には、色信号Ｕ，Ｖにかかる係数（１＋αＹ）βが小さくなるので、彩度が減少する。

ここで、係数βは、彩度の変動量を制御するための係数である。つまり、式（２）において、βの値が大きい場合には彩度の変動が大きくなり、βの値が小さい場合には彩度の変動が小さくなる。

そして、式（２）から、Ｕ信号とＶ信号とを輝度信号に基づいて変換する行列式を導くと、以下の式（３）となる。

・・・・（３）

図５は、図４の画像処理装置１０４０の色信号制御部１０４４を示すブロック図である。同図に示すように、色信号制御部１０４４は、乗算器（１）と、加算器（２）と、乗算器（４）と、加算器（５）とにより構成される。

乗算器（１）は、輝度信号（Ｙ）に係数αを乗じた値を、Ｙ／Ｃ分離部１０４１から出力された色信号（Ｕ）に乗算する。

加算器（２）は、乗算器（１）の乗算結果に色信号（Ｕ）を加算した結果を、Ｕ´として出力する（３）。

乗算器（４）は、輝度信号（Ｙ）に係数αを乗じた値を、Ｙ／Ｃ分離部１０４１から出力された色信号（Ｖ）に乗算する。

加算器（５）は、乗算器（４）の乗算結果に色信号（Ｖ）を加算した結果を、Ｖ´として出力する（６）。

以上説明した乗算器（１）と加算器（２）と乗算器（４）と加算器（５）とにより、色信号制御部１０４４は、先に説明した式（３）の演算を実現することができる。

式（３）を用いて出力される画像データの色信号を変換することにより、色信号制御部１０４４は、画像データに含まれる例えば光源などの輝度の高い被写体とその周辺の画像領域について、彩度を上げることができる。

つまり、画像処理装置１０４０によれば、例えば夜の信号機の色などが明りょうに認識することができる。また、画像処理装置１０４０によれば、輝度が低い領域の彩度を極端に上げないため、より自然な色味の画像を生成することができる。

色信号制御部１０４４により処理された信号は、出力段の処理回路に入力される。ビデオエンコーダ１０４５は、直接ＹＵＶ入力が可能な場合には、画像処理後の信号がそのまま入力される。

画像データの出力処理回路への入力信号がＲＧＢ信号である場合には、撮像装置１において、再びＹＵＶ信号からＲＧＢ信号に変換する必要がある。そのときの変換式は、例えば式（４）のような変換式が用いられる。

・・・・（４）

ここで、出力処理回路は、カメラ出力がアナログコンポジット信号である場合、例えばＤＡＣ（Digital Analog Converter）を内蔵したビデオエンコーダ１０４５等である。を用いて、ＮＴＳＣ（National Television System Committee）方式や、Ｄ２規格、Ｄ４規格などのアナログビデオ規格に準拠した信号に変換される。

また、出力処理回路は、カメラ出力がデジタル出力である場合、例えばパラレル信号をシリアル信号に変換するシリアライザや、他のデジタル出力信号に準拠した信号に変換する回路である。ここで、他のデジタル出力信号とは、例えばEthernet（登録商標）やＵＳＢ（Universal Serial Bus）、ＭＯＳＴ（Media Oriented Systems Transport：登録商標）などである。

なお、特に信号処理がない場合は、撮像装置１は、画像データをＹＵＶ変換せずに出力する。

なお、本発明に係る画像処理装置は、撮像装置に搭載されるものに限定されず、例えば画像表示装置など、画像処理装置を有する各種装置に搭載することができる。

●画像処理装置（２）●
次に、本発明に係る画像処理装置の別の実施の形態について説明する。以下の説明では、先に説明した画像処理装置１０４０との相違点である色信号制御部で用いる行列式のみを説明する。

図６は、ＵＶ色度図である。同図に示すように、ＵＶ色度図上の各色を、それぞれＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（黄）、Ｗ（白）で表す。

図６に示すように、一般的な信号機の発光色である青、黄、赤を、それぞれ斜線を施した丸、白丸、黒丸で示した。ここで、信号機の青は、一般にシアンよりやや緑方向の緑である。

また、色信号のＵ，Ｖの軸を、図６に示す矢印に示した。つまり、信号機の青色と赤色は、色信号のＵ軸方向に位置する。

画像処理装置１０４０は、信号機の色のうち、特に赤信号と青信号の色の認識度合いを高めるため、ＵＶ色度図上のＵ軸方向の色成分の彩度を大きくする。すなわち、信号機の青色領域と赤色領域のＵＶ色度図上の位置を離す。

ここで、色信号制御部１０４４は、先に説明した行列式（３）の係数αに代えて、色信号（Ｕ）と色信号（Ｖ）とで異なる係数α_ｕと係数α_ｖを用いる。ここで、色信号制御部１０４４で用いる行列式は、以下に示す式（５）である。

・・・（５）

画像処理装置１０４０は、式（５）の係数をα_ｕ＞α_ｖとすると、高輝度領域の色のＶ軸方向の成分の値よりＵ軸方向の成分の値の方が大きくなるため、信号機の色認識が容易な画像となる。

また、画像処理装置１０４０は、高輝度領域において色信号（Ｖ）を必要以上に増加させないことで青色や黄色を強調しない。このため、画像処理装置１０４０によれば、出力される画像データの彩度が極端に高い、違和感のある画像となることなく、より自然に近い色味の画像を出力することができる。

●効果●
以上説明したように、画像処理装置１０４０によれば、以下の効果が得られる。

すなわち、画像処理装置１０４０は、画像データに含まれる色信号Ｕ，Ｖと輝度信号Ｙとを分離するＹ／Ｃ分離部１０４１と、輝度信号Ｙの輝度値に基づいて、画像処理に用いる色信号Ｕ，Ｖを制御する色信号制御部１０４４と、を有する。

ここで、画像処理装置１０４０と参考例の画像処理装置とを比較して、画像処理装置１０４０の効果を説明する。

図７は、参考例に係る画像処理装置の実施の形態を示すブロック図である。同図に示すように、参考例の画像処理装置は、画像処理装置１０４０と比較すると色信号制御部１０４４を有しない点が相違し、他は同様の構成である。

図８は、図４の画像処理装置と図７の画像処理装置とにおける撮像素子１０１への入力輝度ＩＬと信号出力レベルとＯＰの関係を示す入出力特性のグラフである。同図に示すように、横軸が撮像素子１０４１への入力輝度ＩＬ、縦軸が信号出力レベルＯＰである。また、同図中の実線は、入出力特性である。

図８に示すように、入出力特性は、横軸の入力輝度ＩＬの値が大きくなっても、縦軸の信号出力レベルＯＰの値の伸びが停滞するというγ特性があるために、入力輝度ＩＬに対して信号出力レベルＯＰの値の伸びが停滞したカーブした曲線となる。

ここで、自発光物体である信号機の赤信号の画像の色を入力した場合における参考例の画像処理装置の青色成分と緑色成分の入力輝度ＩＬと信号出力レベルＯＰとを、図８においてＲ１で示す。

また、赤信号の画像の色を入力した場合における参考例の画像処理装置の赤色成分の入力輝度ＩＬと信号出力レベルＯＰとを、図８においてＢ１，Ｇ１で示す。

図８に示すように、参考例の画像処理装置において、撮像素子１０１０から出力された赤色成分の信号出力レベルは、図中のＲ１の位置であり、ほぼ飽和した状態である。

つまり、参考例の画像処理装置において、高輝度の入力輝度ＩＬに対し、出力信号レベルＯＰが青色成分、緑色成分と赤色成分との間の差ｄ_０がほとんどない。このため、参考例の画像処理装置により出力される高輝度の赤色の被写体は、混色により色が薄くなってしまい、例えば信号機の赤色の判別が難しい状態となる。

ここで、自発光物体である信号機の赤信号の画像の色を入力した場合における画像処理装置１０４０の青色成分と緑色成分の入力輝度ＩＬと信号出力レベルＯＰとを、図８においてＢ２，Ｇ２で示す。

また、赤信号の画像の色を入力した場合における参考例の画像処理装置の赤色成分の入力輝度ＩＬと信号出力レベルＯＰとを、図８においてＲ２で示す。

つまり、画像処理装置１０４０は、色信号制御部１０４４により、輝度信号Ｙの輝度値に基づいて、色信号Ｕ，Ｖの彩度を制御して、輝度の高い（明るい）画素である場合には画素の彩度を上げ、輝度の低い（暗い）画素である場合には画素の彩度を下げる。

ここで、色信号制御部１０４４は、輝度信号Ｙの輝度値に基づいて定めた係数αを用いた上述の行列式（３）により、色信号Ｕ，Ｖの彩度を制御する。

また、色信号制御部１０４４は、上述の行列式（５）のように、色信号Ｕ，Ｖのうち、Ｖ軸方向の成分の色信号の係数α_ｖとＵ軸方向の成分の色信号の係数α_ｕとを異なる値としてもよい。

つまり、色信号制御部１０４４は、上述の行列式（３）または（５）を用いることで、色信号Ｕ，Ｖのうち、赤色成分の色信号を青色成分または緑色成分の色信号より強める。

以上のように構成することで、画像処理装置１０４０は、色信号制御部１０４４が行列式（３）または（５）により、高輝度の入力輝度ＩＬに対する信号出力レベルＯＰの赤色成分Ｒ２と青色成分、緑色成分Ｂ２，Ｇ２の差がｄ_１に広がる。

つまり、画像処理装置１０４０によれば、暗い画像データに含まれる高輝度の被写体（例えば赤信号や青信号など）の色の判別を容易にすることができる。

１０１０ 撮像部
１０１１ 撮像素子
１０２１ 駆動制御部
１０２２ 画素信号処理部
１０４０ 画像処理装置
１０４１ Ｙ／Ｃ分離部
１０４２ 輝度信号処理部
１０４３ 色信号処理部
１０４４ 色信号制御部
１０４５ ビデオエンコーダ

特開２０１３−９８８０５号公報

Claims (6)

1. 画像データに対して画像処理を行う画像処理装置であって、
   前記画像データに含まれる色信号と輝度信号とを分離する信号分離部と、
   前記輝度信号の輝度値に応じて、画像処理に用いる前記色信号のＵ軸方向の成分に係る係数とＶ軸方向の成分に係る係数を個別に変更する色信号制御部と、
   を有し、
   前記色信号制御部は、前記画像データを構成する複数の領域ごとに、前記輝度信号の表す輝度が高い場合には、当該領域の彩度を上げるよう、前記輝度値に応じて前記Ｕ軸方向の成分に係る係数と前記Ｖ軸方向の成分に係る係数を個別に変更し、前記領域の輝度が低い場合には、当該領域の彩度を下げるよう、前記輝度値に応じて前記Ｕ軸方向の成分に係る係数と前記Ｖ軸方向の成分に係る係数を個別に変更する、
   ことを特徴とする画像処理装置。
2. 前記色信号制御部は、前記Ｕ軸方向の成分に係る係数を、前記Ｖ軸方向の成分に係る係数よりも大きくする、
   請求項１記載の画像処理装置。
3. 前記色信号制御部は、前記画像データを構成する複数の画素ごとに、前記画素の輝度が高い場合には、当該画素の彩度を上げるよう、前記輝度値に応じて前記Ｕ軸方向の成分に係る係数と前記Ｖ軸方向の成分に係る係数を個別に変更し、前記領域の輝度が低い場合には、当該領域の彩度を下げるよう、前記輝度値に応じて前記前記Ｕ軸方向の成分に係る係数と前記Ｖ軸方向の成分に係る係数を個別に変更する、
   請求項１又は２に記載の画像処理装置。
4. 画像データを取得する撮像部と、
   前記画像データに対して画像処理を行う画像処理装置と、
   を有してなる撮像装置であって、
   前記画像処理装置は、請求項１乃至３のいずれかに記載の画像処理装置である、
   ことを特徴とする撮像装置。
5. コンピュータを、請求項１乃至４のいずれかに記載の画像処理装置として機能させる、
   ことを特徴とする画像処理プログラム。
6. 画像データに対して画像処理を行う画像処理方法であって、
   前記画像データから色信号と輝度信号とを分離するステップと、
   前記輝度信号の輝度値に応じて、前記画像処理に用いる前記色信号のＵ軸方向の成分に係る係数とＶ軸方向の成分に係る係数を個別に変更し、前記画像データを構成する複数の領域ごとに、前記領域の輝度が高い場合には当該領域の彩度を上げるよう、前記輝度値に応じて前記Ｕ軸方向の成分に係る係数と前記Ｖ軸方向の成分に係る係数を個別に変更し、前記領域の輝度が低い場合には当該領域の彩度を下げるよう、前記輝度値に応じて前記Ｕ軸方向の成分に係る係数と前記Ｖ軸方向の成分に係る係数を個別に変更するステップと、
   を実行する、
   ことを特徴とする画像処理方法。
   

Images