JP4952499B2 - 画像処理装置 - Google Patents

Description

本発明は、ダイナミックレンジの低い撮像装置において車両画像を明確にすることができる画像処理装置に関する。

従来の画像処理技術において、広いダイナミックレンジをもつ風景の画像における画素値の飽和（いわゆる白飛び）や画素値の不足（いわゆる黒つぶれ）を押さえるように、画像を加工して提供する手法が提案されている。

基本的には、白飛びを押さえるには最大輝度を持つ箇所に合わせて露出制御すれば良い。しかしそれでは他の暗い箇所の画素値が不足し、他の黒い部分が完全に黒つぶれしてしまう。そのため、非常に広いダイナミックレンジを持つ対数感度型カメラを用いる方法が考えられる。しかしこの場合も、暗い箇所と明るい箇所の輝度差が数千倍程度ある場合は、単純なヒストグラム解析によるｍｉｎ／ｍａｘ処理での画像生成（図５参照）や、トーンカーブ調整（図９参照）のような露出制御では、暗い箇所が黒つぶれした画像となってしまうため、暗い箇所のコントラストが失われないように画像を生成する技術が重要となる。

例えば、Ｌｉｎ／Ｌｏｇカメラの対数特性を持つ高い照明光成分の箇所のみにダイナミックレンジ圧縮をかける手法も提案されている。すなわち、２種類の画像を作り出して合成するような手段をとることで、明るいシーンも暗いシーンもよく見える画像を得ようとしている。これにより、明るさが極端に異なるシーンが含まれる画像（例えばトンネル出入口）でも、暗い箇所のコントラストも明るい箇所のコントラストもよく見える。つまり白飛びも黒つぶれも押さえた画像を生成している（例えば、特許文献１参照）。
特開２００６−２１１６５０号公報

ところが、上記方法では、被写体の輝度変化が大きなダイナミックレンジを有する場合には、その被写体を含む画像を鮮明に得ることができなかった。例えば、夜間の道路を撮像した場合、周囲の暗さに対して数千から数万倍もの局所的な高輝度を持つ街灯などの点光源や路面反射グレアが存在する風景となる。点光源は画像中で局所的であるが故に、上記技術のように低周波成分の圧縮を行うダイナミックレンジ圧縮をかけても、その箇所の画像は白飛びを免れない。

また、その白飛びを押さえる方法として、例えば、前述の合成を利用し、局所的な高輝度箇所すら白飛びしにくい極端な設定で画像を別途生成して、白飛びの箇所だけをその絵で差し替える形で合成するなどが考えられる。

この場合、たしかに光源の箇所の輝度値は低く押さえられるため、白飛びは抑えられるが、画像が見にくくなるという問題が発生する。例えば、車載用の側後方監視モニタカメラを考えると、本来白飛びしていた追越し車両のヘッドライトが押さえられることにより、画像中で目立たなくなる。これにより、カメラの機能面でのニーズであるレーンチェンジ時の追越し車両の有無の分かりやすさを悪化させることになる。

本発明は、こうした問題に鑑みなされたもので、ダイナミックレンジが大きな輝度を有する被写体を含む画像であっても、見やすい画像を得ることができる画像処理装置を提供することを目的とする。

かかる問題を解決するためになされた請求項１に記載の画像処理装置（５：この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。）は、撮像手段（１０）、輝度飽和抑制画像生成手段（３０）、車両領域特定手段（２０，３０）及び輝度補正手段（３０）を備えたことを特徴とする。

撮像手段（１０）は、自車両周辺の画像を取得し、少なくとも画素の輝度値を含む画像データとして出力し、輝度飽和抑制画像生成手段（３０）は、撮像手段（１０）が出力する画像データから画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成する。

車両領域特定手段（２０，３０）は、撮像手段（１０）が出力する画像データから画像中の他車両の領域を特定し、輝度補正手段（３０）は、車両領域特定手段（２０，３０）により特定された他車両の領域の輝度を、輝度飽和抑制画像生成手段により、所定の飽和輝度に置き換えて補正する。

このような画像処理装置（５）では、撮像手段（１０）で得られた自車両周辺の画像から飽和輝度を抑制した画像を生成し、画像の中の車両領域の輝度を所定の飽和輝度に置き換えて補正する。

つまり、画像の中の車両領域については、その輝度が仮に低くても飽和輝度で表示されるので、画像の中で車両を目立たせることができる。逆に、車両領域以外で輝度飽和が生じている場合、例えば、車両のヘッドライトよりも輝度が高い街灯が存在し、その部分の輝度が輝度飽和を生じさせるような場合には、街灯の部分の輝度が抑制される。

したがって、このような処理を行った画像を表示させれば、画像の中で車両が目立って表示されるので、運転者は他車両の存在を適切に認識することができ、運転時の安全性を向上することができる。

ここで、「飽和輝度」とは、画素の輝度がそれ以上の値にならない輝度のことであり、画素が飽和輝度を超えた場合には、その画素はそれ以上の輝度とならないため、画像にいわゆる白飛びが生じる。

また、請求項２に記載の画像処理装置（５）は、撮像手段（１０）、輝度飽和抑制画像生成手段（３０）、車両領域特定手段（２０，３０）及び輝度飽和抑制効果低減手段（３０）を備えたことを特徴とする。

撮像手段（１０）は、自車両周辺の画像を取得し、少なくとも画素の輝度値を含む画像データとして出力し、輝度飽和抑制画像生成手段（３０）は、撮像手段（１０）が出力する画像データから画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成する。

また、車両領域特定手段（２０，３０）は、撮像手段（１０）が出力する画像データから得られる画像中の他車両の領域を特定し、輝度飽和抑制効果低減手段（３０）は、車両領域特定手段（２０，３０）により特定された他車両の領域については、輝度飽和抑制画像生成手段（３０）における飽和輝度を超える部分の輝度を所定の輝度に抑制する効果を低減させる。

このような画像処理装置（５）では、撮像手段（１０）で取得された自車両周辺の画像のうち画素の輝度が所定の飽和輝度を超える部分の輝度が所定の輝度に抑制された画像が得られる。ところが、画像の中で他車両であると特定された領域については、画素の輝度が所定の飽和輝度を超えていても、その輝度が抑制されない。

つまり、画像の中で車両の領域については、飽和輝度を超えている場合でも、高い輝度のまま表示されることになるので、画像の中で他車両の輝度を選択的に高めることができる。したがって、例えば、夜間にヘッドライトを点灯している車両を目立たせることができるので、それを表示させれば、運転者は他車両の存在を適切に認識することができ、運転時の安全性を向上することができる。

ところで、撮像手段（１０）が比較的狭く、かつ直線的な撮像特性を有するものであっても、請求項１又は請求項２に記載の画像処理装置（５）としては使用できるが、請求項３に記載のように、撮像手段（１０）が少なくとも撮像特性の一部に対数特性を有するとよい。

撮像手段（１０）が比較的狭く、かつ直線的な撮像特性を有している場合、画素の輝度飽和が生じやすく、輝度飽和が生じた画素には、階調の情報がないため、輝度飽和を抑制した画像を生成する際に不利となる。

ところが、撮像特性の一部に対数特性を有していると、画素の輝度飽和が生じ難いので、画素の階調情報が失われ難く、輝度飽和を抑制した画像を生成する場合に有利である。つまり、請求項１又は請求項２に記載の画像処理装置（５）の撮像手段（１０）として使用すると、車両を目立たせる効果が高いものとなる。

また、輝度飽和を抑制した画像の生成方法としては、請求項４に記載のように、撮像手段（１０）が出力する画像データから複数の画像を生成し、生成した複数の画像のうちの１つの画像から光源を抽出し、光源を抽出する画像の光源の部分を他の複数の画像において、他の輝度の画像と置き換えるか又は他の輝度の画像と混合することにより画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成するようにするとよい。

このようにすると、撮像手段（１０）が出力する画像データから複数の画像を生成し、生成した複数の画像の各々の画像に対して最も適切な処理を行うことができる。つまり、生成した複数の画像のうちの１つの画像から光源を抽出するという処理を行い、他の複数の画像においては、光源を抽出する画像の光源の部分を他の輝度の画像と置き換えるか又は他の輝度の画像と混合する。

このようにして、画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成できる。つまり、複数の画像の各々に対して異なる処理を行い、その処理に適した処理方法を採用することができるので、効率よく飽和輝度を超える部分の輝度を抑制した画像を生成することができる。

また、請求項５に記載のように、光源を抽出する画像をダイナミックレンジ圧縮処理によって生成するようにするとよい。
ダイナミック圧縮処理は、暗所を見やすくする効果があるので、周囲が暗い夜間に特に効果が高い画像処理手法であるが、画素の輝度飽和が抑制しにくいという特性がある。したがって、そのダイナミック圧縮処理を輝度飽和抑制画像生成手段（３０）の対象とすれば、暗所を見やすくするというダイナミック圧縮処理の長所を生かし、かつ、画素の輝度飽和を抑制することができる画像処理装置（５）とすることができる。

また、光源を抽出する画像以外の複数の画像については、請求項６に記載のように、輝度飽和抑制画像生成手段（３０）は、他の複数の画像を、光源を抽出する画像よりも画素の輝度を低い所定の輝度となるようにパラメータが設定されたダイナミックレンジ圧縮処理を行って生成し、そのパラメータは、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値、又はダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値の少なくとも１つを用いるようにするとよい。

ここで、「画像をぼかすためのフィルタ処理」とは、画像の全体のコントラストを下げる処理であり、例えば、バイラテラルフィルタ、ローパスフィルタあるいは、画像を縮小した後、縮小した画像を拡大するような処理によって画像全体をぼかす処理のことである。

前述のようにダイナミックレンジ圧縮処理は、暗所を見やすくする効果があり、その効果は、例えば、圧縮比などのパラメータによって変化する。そして、光源を抽出する以外の複数の画像は光源を抽出する画像よりも輝度が低い。

したがって、それらの画像に対し、光源を抽出する画像よりも画素の輝度を低い所定の輝度となるようにパラメータが設定されたダイナミックレンジ圧縮処理を行う。その際、処理のパラメータを、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値、又はダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値の少なくとも１つを用いるようにすると輝度飽和が発生しにくい、いわゆる美しい画像が得られる。

ところで、輝度飽和抑制画像生成手段（３０）において画素の飽和を抑制する方法としては種々のものが考えられるが、請求項７に記載のように、複数の画像の各画像において、低輝度域に比べ高輝度域の方がより対数特性が大きい画像を生成するようにするとよい。

このようにすると、各画素に対して入力される画像データ（輝度データ）の輝度値が低い場合にはそのままの輝度値が出力され、輝度値が高い場合には、その値が抑制されるので、画素の輝度飽和の発生を抑制することができる。

例えば、夜間にヘッドライトを点灯した車両を撮像した場合、輝度の高いヘッドライト部分は輝度が抑制され、その他の部分は輝度が抑制されない画像を得ることができる。
また、車両領域特定手段（２０，３０）による車両領域の特定方法としては種々のものが考えられるが、請求項８に記載のように、他車両の位置を検出するための他車両位置検出手段（２０）を備え、車両領域特定手段（２０，３０）は、撮像手段（１０）が出力する画像データに基づいた画像処理又は他車両位置検出手段（２０）で検出された前記他車両の位置の少なくとも何れかを用いて他車両の領域を特定するようにするとよい。

このようにすると、他車両位置検出手段（２０）において他車両の位置が検出されるので、その位置を用いれば、容易に画像中の他車両の領域を特定できる。また、画像データに基づいて、例えば、予め登録しておいた他車両の形状データによるパターン認識などの画像処理によっても画像中の他車両の領域を特定できる。また、他車両の位置及び画像処理の両方を用いれば、さらに精度よく画像中の他車両の領域を特定できる。

ところで、輝度飽和抑制効果低減手段（３０）における輝度飽和抑制効果の低減方法としては種々のものが考えられるが、請求項９に記載のように、撮像手段（１０）で取得した画像のうち車両領域特定手段（２０，３０）で特定した以外の領域で、かつ、所定の輝度以上の領域に対し、画像の輝度値が局所的に所定の飽和輝度を超えないようにするためのダイナミックレンジ圧縮のパラメータ設定が可能なダイナミックレンジ圧縮により画像の生成を行うようにするとよい。

このようにすると、画像中で車両領域以外の領域については、パラメータ設定が可能なダイナミックレンジ圧縮が行われるので、前述のように暗所において車両以外の領域を見やすい画像を得ることができる。

この場合、請求項１０に記載のように、輝度飽和抑制効果低減手段（３０）は、パラメータ設定可能なダイナミックレンジ圧縮により画像を生成し、そのパラメータは、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値、又はダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値の少なくとも１つであるようにするとよい。

このようにすると、請求項６と同様にダイナミックレンジ圧縮処理の際、処理のパラメータを、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値、又はダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値の少なくとも１つを用いるようにすると輝度飽和が発生しにくい、いわゆる美しい画像が得られる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
［第１実施形態］
図１は、本発明が適用された画像処理装置５が適用された画像表示装置１の概略の構成を示すブロック図である。画像表示装置１は図１に示すように、画像処理装置５及び表示装置５０を備え図示しない車両に搭載されている。

画像処理装置５は、後方カメラ１０、ミリ波レーダ２０、ヘッドライトスイッチ３０及び画像処理部４０を備えている。
後方カメラ１０は、自車両周辺の画像を取得し、少なくとも画素の輝度値を含む画像データとして出力するものであり、自車両の後側方画像を取得できるように自車両の後部側面に取り付けられている。

また、後方カメラ１０は、少なくとも撮像特性の一部に対数特性を有しているＣＣＤカメラであり、本実施形態では、低輝度域に比べ高輝度域に対する輝度出力が抑制される対数特性を有している、いわゆるハイダイナミックレンジカメラである。

ミリ波レーダ２０は、他車両の位置を検出するためのものであり、図示しないアンテナ、発振器、増幅器及び変復調器などから構成され、ミリ波を送信し、他車両からの反射波を受信して、他車両の距離と方位（つまり、他車両の位置）を検出する。本実施形態の場合、後側方に位置する他車両の位置を検出できるように車両の後部に取り付けられている。

ヘッドライトスイッチ３０は、自車両のヘッドライトをオン／オフするためのスイッチである。
画像処理部４０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏから構成され、以下の（ア）〜（キ）に示す画像処理を実行する。ここで、画像処理のうち飽和輝度を抑制した画像を生成する処理に関する部分を飽和輝度抑制画像生成処理、車両領域を特定する処理に関する部分を車両領域特定処理、また、飽和輝度抑制効果を低減する処理に関する部分を輝度飽和抑制効果低減処理と呼ぶ。

［画像処理］
（輝度飽和抑制画像生成処理）
（ア）後方カメラ１０が出力する画像データから複数の画像を生成する。

（イ）生成した複数の画像のうちの１つの画像から、ダイナミックレンジ圧縮を行って光源を抽出する。
（ウ）他の複数の画像を、光源を抽出する画像よりも画素の輝度を低い所定の輝度となるようにパラメータが設定されたダイナミックレンジ圧縮処理を行い、画像を生成する。このときのパラメータは、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値及びダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値を用いる。

（エ）光源を抽出した画像の光源の部分を他の複数の画像において、他の輝度の画像と置き換えるか又は他の輝度の画像と混合することにより画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成する。

（車両領域特定処理）
（オ）後方カメラ１０が出力する画像データに基づいた画像処理及びミリ波レーダ２０で検出された他車両の位置を用いて他車両の領域を特定する。

（輝度飽和抑制効果低減処理）
（カ）車両領域特定処理により特定された他車両の領域については、輝度飽和抑制画像生成処理における飽和輝度を超える部分の輝度を所定の輝度に抑制する効果を低減させる。

（キ）後方カメラ１０で取得した画像のうち車両領域特定処理で特定した以外の領域で、かつ、所定の輝度以上の領域に対し、画像の輝度値が局所的に所定の飽和輝度を超えないようにするためのダイナミックレンジ圧縮のパラメータ設定が可能なダイナミックレンジ圧縮により画像の生成を行う。

このときの、パラメータは、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値及びダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値とする。

表示装置５０は、ＬＣＤを備え、車両のバックミラー部分にミラーの代わりに取り付けられている。
（画像処理の内容）
次に図２〜図６に基づき、画像処理部４０において実行される画像処理の内容について説明する。図２は、画像処理の流れを示すフローチャートであり、図３は画像処理の各段階において得られる画像の例を示す図であり、図４は、ダイナミックレンジ圧縮処理により得られる画像の例を示す図である。また、図５は、夜間の画像全体における輝度のヒストグラムを示す図であり、図６は、画像処理によって得られる合成画像を示す図である。

画像処理では、図２に示すように、Ｓ１００において後方カメラ１０から自車両の後側方画像が取得される。このとき取得された画像の一例を図３（ａ）に示す。図３（ａ）に示すように、後方カメラ１０（ハイダイナミックレンジカメラ）での撮像画像（対数画像）では、画像が全体にぼんやりしており、暗い箇所のコントラストが明確でなく、はっきり識別できない画像となっている。

続くＳ１０５では、Ｓ１００において取得された後側方画像のダイナミックレンジ圧縮画像が生成される。ここで、ダイナミックレンジ圧縮処理について図４に基づき説明する。

ダイナミックレンジ圧縮とは、画像の暗い（輝度が低い）箇所も明るい（輝度が高い）箇所もコントラストがよく見えるようにする手法の１つである。具体的には、まず、画像の所定の領域ごとにその領域に当たっている照明光の量で元の画像の輝度を割ってやることにより画像を得るものである。照明光の量は、画像にローパスフィルタ（ぼかし）をかけて推定する。

このようにして得られた画像を照明光成分画像と呼び、特にバイラテラルフィルタと呼ばれるフィルタを用いるのが一般的である。図４（ａ）に示す元画像に対してバイラテラルフィルタを用いて得られる照明光成分画像を図４（ｂ）に示す。元画像を照明光成分画像で割って得られた画像、つまり、元画像にダイナミックレンジ圧縮処理を行って得られた画像を図４（ｃ）に示す。

ダイナミックレンジ圧縮後の画像における輝度の大小関係は実際の輝度の大小関係とは異なるが、見た目には元の画像と近い画像となる。ダイナミック圧縮を行った後の画像の輝度ヒストグラムは、必ずしも密集しておらず、図５に示すように、最大最小輝度値設定処理（ｍｉｎ／ｍａｘ処理とも呼ぶ。）を行って最終的な画像を作り出す必要がある。つまり、単純なダイナミックレンジ圧縮のみでは、画像中の輝度飽和（白飛び）や輝度低下（黒つぶれ）は排除しきれないのである。

次に、ｍｉｎ／ｍａｘ処理について図５に基づき説明する。図５は、夜間の画像全体における輝度のヒストグラムを示す図である。
夜間の画像では、図５に示すように低輝度域では特定の輝度の分布が大きく、高輝度域では広い輝度範囲に分布している。ｍｉｎ／ｍａｘ処理とは、例えば、輝度の高域と低域の１％の部分を算出し、その範囲で０〜２５５に設定して最終的な画像を作成することをいう（図５中縦線の範囲内）。この場合、破線で囲まれた部分が輝度飽和（白飛び）することになる。また、このときの設定値である１％を飽和輝度超過領域許容値と呼んでいる。

以上のようにしてダイナミックレンジ圧縮された画像を図３（ｂ）に示す。図３（ｂ）に示すように、ダイナミックレンジ圧縮処理により、暗い箇所もコントラストが明確ではっきり認識することができるが、光源の部分は輝度飽和し、いわゆる白飛びしている。この図３（ｂ）に示す画像をベース画像とする。

Ｓ１１０では、ヘッドライトスイッチ３０からヘッドライトのオン／オフ状態が取得され、続くＳ１１５では、Ｓ１１０において取得されたヘッドライトスイッチのオン／オフ状態に基づき夜間であるか否かが判定される。

つまり、ヘッドライトスイッチがオンの場合（Ｓ１１５：Ｙｅｓ）、夜間照明であるヘッドライトが点灯されているので夜間と判定され、処理がＳ１２０へ移行される。一方、ヘッドライトスイッチがオフの場合（Ｓ１１５：Ｎｏ）、夜間照明であるヘッドライトが消灯されているので夜間ではないと判定され、処理がＳ１３５へ移行される。

Ｓ１２０では、ミリ波レーダ２０から他車両の位置が取得され、取得された他車両の位置とＳ１００において取得された後側方画像とから他車両が検出される。具体的には、Ｓ１００において得られた後側方画像から外形形状、ヘッドライトの数及び位置あるいは色などに基づいて他車両が抽出される。そして、ミリ波レーダ２０から取得された他車両の位置に画像処理で抽出された他車両が存在していれば他車両であるとするのである。

続くＳ１２５では、合成比率画像の生成が行われる。合成比率画像生成処理の詳細については後述するが、合成比率画像生成処理の結果得られた画像を図３（ｃ）に示す。図３（ｃ）に示すように、Ｓ１０５において得られたベース画像から他車両の領域の部分（特に光源）を、所定の輝度に置き換え、いわゆる白つぶれしていない画像を生成する。

続くＳ１３０では、合成処理が行われる。つまり、Ｓ１０５において得られたベース画像とＳ１２５において得られた合成比率画像とを合成した画像を生成する。このようにして得られた合成画像を図６（ａ）に、また、比較のために他車両の領域の部分の処理がなされていない場合の合成画像を図６（ｂ）に示す。

続くＳ１３５では、夜間の場合には、Ｓ１３０において合成された画像が表示装置５０に表示され、夜間でない場合（Ｓ１１５で夜間でないと判定された場合）には、後方カメラ１０で取得された画像が表示される。画像の表示が終了したら、処理がＳ１００へ戻され、画像処理が繰り返される。

（合成比率画像生成処理）
次に、図７に基づき合成比率画像生成処理について説明する。図７は、合成比率画像生成処理の流れを示すフローチャートである。

合成比率画像生成処理では、Ｓ２００において、Ｓ１０５でダイナミック圧縮処理がされた画像から高輝度領域が抽出される。この処理で抽出された画像を図８（ａ）に示す。
続くＳ２０５では、Ｓ２００において抽出された他車両のヘッドライトや街灯などの高輝度領域に対し、画像合成の際に合成部分のつなぎ目が不自然にならないように、ぼかし処理が行われる。この処理で得られた画像を図８（ｂ）に示す。

続くＳ２１０では、高輝度領域の輝度を低下させように、高輝度部分の輝度を飽和輝度よりも低い輝度で置き換える。この処理で得られた画像を図８（ｃ）に示す。
続くＳ２１５において、Ｓ１２０において検出された他車両のヘッドライト部分の輝度のみを飽和輝度に置き換える。

（画像表示装置１の特徴）
以上の画像表示装置１は、後方カメラ１０で取得された自車両の後側方画像のうち画素の輝度が所定の飽和輝度を超える部分の輝度が所定の輝度に抑制されるが、他車両であると特定された領域については、画素の輝度が所定の飽和輝度を超えていても、その輝度が抑制されない。つまり、画像の中で車両の領域については、飽和輝度を超えている場合でも、高い輝度のまま表示されることになるので、画像の中で他車両の輝度を選択的に高めることができる。

具体的には、夜間にヘッドライトを点灯している車両を目立たせてバックミラーの代わりに取り付けた表示装置５０に表示しているので、運転者は他車両の存在を適切に認識することができ、運転時の安全性を向上することができる。

また、後方カメラ１０が撮像特性の一部に対数特性を有しているので、画素の輝度飽和が生じ難い。画素の輝度飽和が生じ難いので、画素の階調情報が失われ難く、輝度飽和を抑制した画像を生成する場合に有利である。つまり、車両を目立たせる効果が高いものとなっている。

さらに、方カメラ１０が出力する画像データから複数の画像を生成し、生成した複数の画像のうちの１つの画像から光源を抽出するという処理を行い、他の複数の画像においては、光源を抽出する画像の光源の部分を他の輝度の画像と置き換えるか又は他の輝度の画像と混合している。

つまり、複数の画像の各々に対して異なる処理を行い、その処理に適した処理方法を採用しているので、効率よく飽和輝度を超える部分の輝度を抑制した画像を生成することができる。

また、画像の生成にダイナミック圧縮処理を用いているので、暗所を見やすくするというダイナミック圧縮処理の長所を生かし、かつ、画素の輝度飽和を抑制することができるようになっている。

また、光源を抽出する画像よりも画素の輝度を低い所定の輝度となるようにパラメータが設定されたダイナミックレンジ圧縮処理を行っている。その際、処理のパラメータを、照明光成分を推定する際のバイラテラルフィルタ処理のダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値を用いているので、輝度飽和が発生しにくい、いわゆる美しい画像が得られる。

ミリ波レーダ２０により検出される他車両位置と、予め登録しておいた他車両の形状データによるパターン認識などの画像処理によっても画像中の他車両の領域を特定しているので、精度よく画像中の他車両の領域を特定できる。

また、画像中で車両領域以外の領域については、パラメータ設定が可能なダイナミックレンジ圧縮を行っているので、前述のように暗所において車両以外の領域を見やすい画像を得ることができる。

また、ダイナミックレンジ圧縮処理の際、処理のパラメータを、照明光成分を推定する際のバイラテラルフィルタ処理のダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値を用いているので、輝度飽和が発生しにくい、いわゆる美しい画像が得られる。
［第２実施形態］
次に図９に基づき第２実施形態について説明する。図９は、輝度値変換関数を示す図である。第１実施形態ではＳ１０５において、ダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値を用いたダイナミックレンジ圧縮処理を行っていたが、第２実施形態では、その代わりにトーンカーブ調整を行うようにする。

具体的には、低輝度域に比べ高輝度域の方がより対数特性が大きい画像を生成するようにするのである。つまり、図９に示すような、低輝度域に比べ高輝度域の方が、対数特性が大きい輝度値変換関数を全画素に掛けていく。

図９に示す輝度値変換関数を掛けた場合、暗い（輝度の低い）箇所が引き延ばされてコントラストが出るようになり、明るい（輝度の高い）箇所は輝度が抑制されるので、輝度飽和が生じにくくなる。

［第３実施形態］
次に、第３実施形態について説明する。第１及び第２実施形態では、後方カメラ１０で取得した画像に輝度飽和が生じた場合、車両以外は輝度飽和の部分の輝度を抑制し、車両は輝度飽和したままの状態で表示することによって、画像全体を見やすく、かつ車両部分を目立たせるようにしていた。

これに対し第３実施形態では、後方カメラ１０で取得された画像において飽和輝度が生じた場合、その部分の輝度を抑制し、車両部分のみは、所定の輝度に置き換えて表示することによって、画像全体を見やすく、かつ車両部分を目立たせるようにする。

具体的には、合成比率画像生成処理において、Ｓ２００〜Ｓ２１５の処理の代わりに、Ｓ１０５において生成したダイナミックレンジ圧縮処理を行った画像から、Ｓ１２０において検出した他車両のヘッドライト部分を飽和輝度に置き換える補正を行うのである。

このようにすると、画像全体の輝度飽和が抑制され、車両部分のみが目立つ画像を得ることができる。
［その他の実施形態］
（１）上記実施形態では、後方カメラ１０で自車両の後側方画像を取得し、画像処理を行って、得られた画像をバックミラーの代わりに設置した表示装置５０に表示していたが、前方カメラで自車両の前方画像を取得し、画像処理を行い、得られた画像を室内前部に設置した表示装置に表示するようにしてもよい。

このようにすると、自車両の前方に存在する他車両が目立つ見やすい画像を得ることができるので、運転者は前方の他車両の存在を適切に認識することができ、運転時の安全性を向上することができる。

（２）また、ヘッドライトスイッチ３０の代わりに照度計を用い、予め設定した照度以下となった場合に夜間であると判定するようにしてもよい。このようにすると、運転者が何らの操作をすることなく夜間に、他車両が目立つ見やすい画像を得ることができる。

（３）また、Ｓ１１５において「夜間」であるか否かを判定したが、「夜間」の代わりに、「暗所」であるか否かを判定するものであってもよい。つまり、ヘッドライトスイッチ３０や照度計により、トンネルの入り口などのように、明るい場所から暗い場所へ進入する場合などにおいても、他車両が目立つ見やすい画像を得ることができる。

（４）また、上記実施形態では、後方カメラ１０が出力する画像データに基づいた画像処理及びミリ波レーダ２０で検出された他車両の位置を用いて他車両の領域を特定していたが、画像データによる画像処理又はミリ波レーダ２０で検出された他車両の位置の何れか一方により他車両の領域を特定してもよい。

（５）また、上記実施形態では、照明光成分画像をバイラテラルフィルタを用いて生成していたが、画像をぼかすことができればどのような処理であってもよい。例えば、ローパスフィルタ用いて画像をぼかしたり、画像を一旦縮小した後拡大することによって、画像をぼかしたりしてもよい。

画像表示装置１の概略の構成を示すブロック図である。 画像処理の流れを示すフローチャートである。 画像処理の各段階において得られる画像の例を示す図である。 ダイナミックレンジ圧縮処理により得られる画像の例を示す図である。 夜間の画像全体における輝度のヒストグラムを示す図である。 画像処理によって得られる合成画像を示す図である。 合成比率画像生成処理の流れを示すフローチャートである。 合成比率画像生成処理で抽出された画像を示す図である。 輝度値変換関数を示す図である。

符号の説明

１…画像表示装置、５…画像処理装置、１０…後方カメラ、２０…ミリ波レーダ、３０…ヘッドライトスイッチ、４０…画像処理部、５０…表示装置。

Claims (10)

1. 自車両周辺の画像を取得し、少なくとも画素の輝度値を含む画像データとして出力する撮像手段と、
   前記撮像手段が出力する前記画像データから前記画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成する輝度飽和抑制画像生成手段と、
   前記撮像手段が出力する前記画像データから画像中の他車両の領域を特定する車両領域特定手段と、
   前記車両領域特定手段により特定された前記他車両の領域の輝度を、前記輝度飽和抑制画像生成手段により、前記所定の飽和輝度に置き換えて補正する輝度補正手段と、
   を備えたことを特徴とする画像処理装置。
2. 自車両周辺の画像を取得し、少なくとも画素の輝度値を含む画像データとして出力する撮像手段と、
   前記撮像手段が出力する前記画像データから画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成する輝度飽和抑制画像生成手段と、
   前記撮像手段が出力する前記画像データから得られる画像中の他車両の領域を特定する車両領域特定手段と、
   前記車両領域特定手段により特定された前記他車両の領域については、前記輝度飽和抑制画像生成手段における前記飽和輝度を超える部分の輝度を所定の輝度に抑制する効果を低減させる輝度飽和抑制効果低減手段と、
   を備えたことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記撮像手段は、少なくとも撮像特性の一部に対数特性を有することを特徴とする画像処理装置。
4. 請求項１〜請求項３の何れかに記載の画像処理装置において、
   前記輝度飽和抑制画像生成手段は、
   前記撮像手段が出力する前記画像データから複数の画像を生成し、前記生成した複数の画像のうちの１つの画像から光源を抽出し、前記光源を抽出する前記画像の光源の部分を他の複数の画像において、他の輝度の画像と置き換えるか又は他の輝度の画像と混合することにより前記画素の輝度値が所定の飽和輝度を超える部分の輝度を所定の輝度に抑制して画像を生成することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記輝度飽和抑制画像生成手段は、
   前記光源を抽出する画像をダイナミックレンジ圧縮処理によって生成することを特徴とする画像処理装置。
6. 請求項４又は請求項５に記載の画像処理装置において、
   前記輝度飽和抑制画像生成手段は、
   前記他の複数の画像を、前記光源を抽出する画像よりも画素の輝度を低い所定の輝度となるようにパラメータが設定されたダイナミックレンジ圧縮処理を行って生成し、
   前記パラメータは、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値、又はダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値の少なくとも１つを用いていることを特徴とする画像処理装置。
7. 請求項４又は請求項５に記載の画像処理装置において、
   前記輝度飽和抑制画像生成手段は、
   前記複数の画像の各画像において、低輝度域に比べ高輝度域の方がより対数特性が大きい画像を生成することを特徴とする画像処理装置。
8. 請求項１〜請求項７の何れかに記載の画像処理装置において、
   前記他車両の位置を検出するための他車両位置検出手段を備え、
   前記車両領域特定手段は、
   前記撮像手段が出力する前記画像データに基づいた画像処理又は前記他車両位置検出手段で検出された前記他車両の位置の少なくとも何れかを用いて前記他車両の領域を特定することを特徴とする画像処理装置。
9. 請求項２〜請求項８の何れかに記載の画像処理装置において
   前記輝度飽和抑制効果低減手段は、
   前記撮像手段で取得した画像のうち前記車両領域特定手段で特定した以外の領域で、かつ、所定の輝度以上の領域に対し、画像の輝度値が局所的に所定の飽和輝度を超えないようにするためのダイナミックレンジ圧縮のパラメータ設定が可能なダイナミックレンジ圧縮により画像の生成を行うことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記輝度飽和抑制効果低減手段は、
    パラメータ設定可能なダイナミックレンジ圧縮により画像を生成し、
    前記パラメータは、照明光成分を推定する際の、画像をぼかすためのフィルタ処理の空間方向、又は輝度方向フィルタ半径設定値、又はダイナミックレンジ圧縮後の最大最小輝度値設定処理における飽和輝度超過領域許容値の少なくとも１つであることを特徴とする画像処理装置。